[論文レビュー] Improving 3D Object Detection with Channel-wise Transformer

Xian-Sheng Hua, Sijia Cai+5 more|arXiv (Cornell University)|Aug 23, 2021

Advanced Neural Network Applications参考文献 38被引用数 11

ひとこと要約

本論文は、チャネルワイズトランスフォーマー構造を用いてプロポーザルの精錬を改善する、新しい2段階型3Dオブジェクト検出フレームワークCT3Dを提案する。プロポーザルからポイントへの埋め込みと自己注意エンコーディング、チャネルワイズ再重み付けデコーダーを統合することで、CT3Dは最先端の性能を達成し、KITTIのマイルドな車両ベンチマークで81.77%のAPを達成した。

ABSTRACT

Though 3D object detection from point clouds has achieved rapid progress in recent years, the lack of flexible and high-performance proposal refinement remains a great hurdle for existing state-of-the-art two-stage detectors. Previous works on refining 3D proposals have relied on human-designed components such as keypoints sampling, set abstraction and multi-scale feature fusion to produce powerful 3D object representations. Such methods, however, have limited ability to capture rich contextual dependencies among points. In this paper, we leverage the high-quality region proposal network and a Channel-wise Transformer architecture to constitute our two-stage 3D object detection framework (CT3D) with minimal hand-crafted design. The proposed CT3D simultaneously performs proposal-aware embedding and channel-wise context aggregation for the point features within each proposal. Specifically, CT3D uses proposal's keypoints for spatial contextual modelling and learns attention propagation in the encoding module, mapping the proposal to point embeddings. Next, a new channel-wise decoding module enriches the query-key interaction via channel-wise re-weighting to effectively merge multi-level contexts, which contributes to more accurate object predictions. Extensive experiments demonstrate that our CT3D method has superior performance and excellent scalability. Remarkably, CT3D achieves the AP of 81.77% in the moderate car category on the KITTI test 3D detection benchmark, outperforms state-of-the-art 3D detectors.

研究の動機と目的

• キーポイント抽出やマルチスケール統合といった手作業で設計されたコンponentsに依存するため、既存の2段階型3D検出器がプロポーザルの精錬において限界を示している点を是正すること。
• 従来のポイント/ボクセルベース手法が疎で順序のないポイントクラウドにおいて、長距離の依存関係や文脈的関係を効果的にモデル化できないという問題を克服すること。
• 特定のRPNアーキテクチャに束縛されない、柔軟でエンドツーエンドのフレームワークを構築し、アテンションメカニズムを用いて特徴表現を向上させること。
• 自己注意を用いたグローバルな文脈モデリングにより、遮蔽や長距離距離の厳しい条件下でも検出精度を向上させること。
• トランスフォーマーのデコーダーでチャネルワイズ再重み付け機構を導入し、複数レベルの文脈における特徴統合を強化すること。

提案手法

• 各ポイントとプロポーザルキーポイント間の相対座標を用いて幾何学的特徴を生成する、プロポーザルからポイントへの埋め込みモジュールを提案する。
• トランスフォーマーのエンコーダーで自己注意エンコーディングを適用し、各3Dプロポーザル内のポイント間でグローバルな文脈的依存関係を集約する。
• 特徴をチャネル次元にわたって再重み付けすることで、クエリ・キーパターンの相互作用を強化し、特徴表現を向上させる、新しいチャネルワイズデコーディングモジュールを設計する。
• RPNがプロポーザルを生成し、CT3Dがアテンションベースの特徴学習を用いてそれらを精錬する2段階検出パイプラインにチャネルワイズトランスフォーマーを統合する。
• RPNとCT3Dの精錬ヘッドを同時に最適化するエンドツーエンドの学習戦略を採用し、多様なポイントクラウド分布にわたる強力な一般化を実現する。
• トランスフォーマーの柔軟性を活かして、不規則なポイントクラウド構造を効果的に処理しつつ、計算効率とスケーラビリティを維持する。

Figure 1: Overview of CT3D. The raw points are first fed into the RPN for generating 3D proposals. Then the raw points along with the corresponding proposals are processed by the channel-wise Transformer composed of the proposal-to-point encoding module and the channel-wise decoding module. Specific

実験結果

リサーチクエスチョン

• RQ1 学習可能なアテンションベースのメカニズムは、キーポイント抽出やマルチスケール特徴統合といった手作業で設計されたコンponentsを上回ることができるか？
• RQ2 自己注意メカニズムは、疎な3Dポイントクラウドにおいてどの程度長距離依存関係を捉えることができ、遮蔽や低ポイント密度下での検出のロバストネスを向上させられるか？
• RQ3 トランスフォーマーのデコーダーにおけるチャネルワイズ再重み付けは、標準的なデコーディングと比較して、特徴表現と予測精度をどのように向上させるか？
• RQ4 提案されたCT3Dフレームワークは、さまざまなRPNバックボーンと効果的に組み合わせられ、高い性能とスケーラビリティを維持できるか？
• RQ5 プロポーザルからポイントへの埋め込み、自己注意、チャネルワイズデコーディングといった各コンポーネントの、全体の検出精度への寄与度は何か？

主な発見

• CT3DはKITTIのマイルドな車両カテゴリで81.77%の平均適合率（AP）を達成し、テストセット上でのすべての公開済み最先端手法を上回った。
• PointPillar RPNを用いた場合、CT3Dはベースライン比で+4.82%のAP向上を達成し、さまざまなRPNバックボーンにわたる強力な一般化能力を示した。
• 提案されたキーポイント差分戦略によるプロポーザルからポイントへの埋め込みは、ベースラインのサイズ・方向性手法に比べて最大+5.47%のAP向上を達成した。
• 自己注意エンコーディングモジュールを削除すると性能が著しく低下し、グローバルな文脈と依存関係を捉える上でその重要性が確認された。
• 拡張されたチャネルワイズ再重み付け機構は、標準デコーディングおよび基本的なチャネルワイズ再重み付けを上回り、あらゆる難易度レベルで最高のAPを達成した。
• アテンションマップの可視化から、CT3Dは学習過程において徐々にフォアグラウンドポイント（例：車両）に注目を集中させ、バックグラウンドポイントに注目を減らす傾向があることが示され、効果的なアテンション学習が行われていることが裏付けられた。

Figure 2: Proposal-to-point encoding. The location features of raw point clouds are first modulated by the proposal information (center and corners) via subtraction operator. Then, the resulting point features are refined by the proposal-aware encoding module with multi-head self-attention mechanism