[論文レビュー] LighTN: Light-weight Transformer Network for Performance-overhead Tradeoff in Point Cloud Downsampling

Xu Wang, Yi Jin+4 more|arXiv (Cornell University)|Feb 13, 2022

Optical Imaging and Spectroscopy Techniques被引用数 5

ひとこと要約

LighTNは、従来のQKV投影を置き換える単一ヘッド自己相関モジュールを用いる軽量なTransformerネットワークを提案し、計算コストを削減しながら高い性能を維持する。新しいサンプリング損失関数と拡張-縮小型のフィードフォワードネットワークスケーリングにより、最小限のリソースコストで分類および登録タスクで最先端の結果を達成する。

ABSTRACT

Compared with traditional task-irrelevant downsampling methods, task-oriented neural networks have shown improved performance in point cloud downsampling range. Recently, Transformer family of networks has shown a more powerful learning capacity in visual tasks. However, Transformer-based architectures potentially consume too many resources which are usually worthless for low overhead task networks in downsampling range. This paper proposes a novel light-weight Transformer network (LighTN) for task-oriented point cloud downsampling, as an end-to-end and plug-and-play solution. In LighTN, a single-head self-correlation module is presented to extract refined global contextual features, where three projection matrices are simultaneously eliminated to save resource overhead, and the output of symmetric matrix satisfies the permutation invariant. Then, we design a novel downsampling loss function to guide LighTN focuses on critical point cloud regions with more uniform distribution and prominent points coverage. Furthermore, We introduce a feed-forward network scaling mechanism to enhance the learnable capacity of LighTN according to the expand-reduce strategy. The result of extensive experiments on classification and registration tasks demonstrates LighTN can achieve state-of-the-art performance with limited resource overhead.

研究の動機と目的

• 低パワーアプリケーションにおけるTransformerベースのポイントクラウドダウンサンプリングの高いリソースコストを軽減すること。
• 事前学習済みタスクネットワークと互換性がある、即挿し可能でエンドツーエンドのダウンサンプリングソリューションを開発すること。
• QKV投影行列の削除と拡張-縮小スケーリングによるネットワーク深さ最適化により、パフォーマンスと効率のバランスを取ること。
• 新しいサンプリング損失関数を用いて、ネットワークが重要で均等に分布したポイントに注目できるようにすること。

提案手法

• 別個のクエリ、キー、バリューの投影行列を必要とせず、自己相関モジュールを用いてアテンションを計算する単一ヘッドの自己相関モジュールを導入し、パラメータとFLOPsのオーバーヘッドを削減する。
• 対称行列計算を採用することで、置換不変性が自然に満たされ、安定性と効率性が向上する。
• チャーム距離、リプレースメント損失、指数的温度スケーリングを用いたソフトアサインメント損失を組み合わせたマルチコンポonentのサンプリング損失を設計し、ポイントのカバレッジと均一性を向上させる。
• フィードフォワードネットワークに拡張-縮小戦略を適用し、FLOPsとパラメータの増加を最小限に抑えながらネットワークの深さを増加させる。
• 自己相関モジュール内のすべての投影行列を削除し、パフォーマンスとリソースコストの最適なトレードオフを達成する。
• 2層目の拡張比2の3層FFNをデフォルト構成として採用し、精度と効率のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 軽量なTransformerアーキテクチャは、計算およびメモリオーバーヘッドを最小限に抑えつつ、ポイントクラウドダウンサンプリングで最先端のパフォーマンスを達成できるか？
• RQ2 QKV投影行列を削除することで、ダウンサンプリングタスクにおける自己アテンションのパフォーマンスと効率にどのような影響を与えるか？
• RQ3 軽量なダウンサンプリングフレームワークにおいて、モデルの深さとリソースコストのバランスを取るための最適なフィードフォワードネットワークの構成は何か？
• RQ4 提案されたサンプリング損失関数は、重要で均等に分布したポイントを保持するようにネットワークを効果的に誘導できるか？
• RQ5 自己相関メカニズムは、識別性と効率の両面で、標準的なドット積アテンションを上回るか？

主な発見

• LighTNは、ModelNet40分類およびShapeNet登録ベンチマークで、顕著に低いリソースオーバーヘッドで最先端のパフォーマンスを達成した。
• すべてのQKV投影行列を削除することで、3ヘッドバージョンと比較してFLOPsが最大65.6％削減され、パラメータは3.6％削減され、精度の低下はほとんどなかった。
• 対称行列計算を用いる自己相関モジュールは、標準的な単一ヘッドドット積アテンションよりも優れた識別性と低いオーバーヘッドを実現した。
• ソフトアサインメント損失部に指数関数的温度関数を用いることで、2次スケーリングに比べてモデルの収束性と精度が向上した。
• L=3およびr=2の拡張-縮小戦略を用いることで、平均してFLOPsは0.0087G、パラメータは0.0488M増加したが、パフォーマンスの向上が見られた。
• L_soft(exp(t))とL_replのコンponentを備えた提案されたサンプリング損失関数が最高の精度を達成し、ポイント選択を誘導する有効性が示された。