[論文レビュー] Temporal-Channel Transformer for 3D Lidar-Based Video Object Detection in Autonomous Driving

Zhenxun Yuan, Xiao Song+4 more|arXiv (Cornell University)|Nov 27, 2020

Advanced Optical Sensing Technologies参考文献 37被引用数 6

ひとこと要約

本稿では、3D LiDAR動画データにおける空間的・時間的・チャネルワイドな相関をモデル化することで、1フレームあたりの物体検出を向上させる、新しいトランスフォーマー・アーキテクチャ「Temporal-Channel Transformer (TCTR)」を提案する。エンコーダーではマルチフレーム・マルチチャネル特徴を符号化し、ゲーテッド・リファイニング・モジュールを用いて現在のフレームのボクセルワイド表現をデコードすることで、nuScenesベンチマークで50.47 mAPの最先端性能を達成し、1フレームベースラインおよびマルチフレームベースラインをそれぞれ7.4 mAPおよび5.1 mAP上回った。

ABSTRACT

The strong demand of autonomous driving in the industry has lead to strong interest in 3D object detection and resulted in many excellent 3D object detection algorithms. However, the vast majority of algorithms only model single-frame data, ignoring the temporal information of the sequence of data. In this work, we propose a new transformer, called Temporal-Channel Transformer, to model the spatial-temporal domain and channel domain relationships for video object detecting from Lidar data. As a special design of this transformer, the information encoded in the encoder is different from that in the decoder, i.e. the encoder encodes temporal-channel information of multiple frames while the decoder decodes the spatial-channel information for the current frame in a voxel-wise manner. Specifically, the temporal-channel encoder of the transformer is designed to encode the information of different channels and frames by utilizing the correlation among features from different channels and frames. On the other hand, the spatial decoder of the transformer will decode the information for each location of the current frame. Before conducting the object detection with detection head, the gate mechanism is deployed for re-calibrating the features of current frame, which filters out the object irrelevant information by repetitively refine the representation of target frame along with the up-sampling process. Experimental results show that we achieve the state-of-the-art performance in grid voxel-based 3D object detection on the nuScenes benchmark.

研究の動機と目的

• 自動運転における疎な3D LiDARポイントクラウドの課題を、隣接フレームからの時間的コンテキストを活用することで解決すること。
• 複数のLiDARフレームにわたる複雑な空間的・時間的・チャネルワイドな相関をモデル化することで、検出精度を向上させること。
• 学習可能なゲーティング機構を用いて、物体に関係のない情報をフィルタリングすることで、特徴表現を精錬すること。
• ボクセルワイドなアテンションメカニズムを用いて、現在のフレームのための高密度で正確かつコンテキスト強化された特徴マップを実現すること。

提案手法

• Temporal-Channel Transformer (TCTR) は、独自のエンコーダー・デコーダー設計を採用：エンコーダーはマルチフレーム・マルチチャネル特徴を処理し、フレーム間およびチャネル間の相関を捉える。
• デコーダーは、時間的およびチャネル的側面から関連する特徴に注目することで、現在のフレームの高密度なボクセルワイド表現を再構築する。
• 圧縮された入力フレームの各チャネルはエンコーダー内での別個のトークンとして扱われる一方、ターゲットフレーム内の各ボクセルはデコーダーのクエリとして機能する。
• ゲート機構を適用して、現在のフレームからの特徴と精錬済み表現の両方を再重み付けし、アップサンプリング中に物体に関係のない情報を選択的に抑制する。
• 最大7フレームまでの複数入力フレームからの特徴を統合することで、ターゲットフレームの密度と耐障害性を向上させる。
• フレームワークは、生のポイントクラウドを2次元の擬似画像に変換することで効率的な処理を可能にする、特徴ベースの3D検出パイプライン内に統合されている。

実験結果

リサーチクエスチョン

• RQ1 複数のLiDARフレームにわたる時間的およびチャネルワイドな相関を、3D物体検出の向上に寄与する形で効果的にモデル化する方法は何か？
• RQ2 RNNベースの手法（例：ConvLSTM や ConvGRU）に比べ、トランスフォーマーに基づくアーキテクチャがLiDAR動画における長距離の空間的・時間的依存関係を捉える上で優れているか？
• RQ3 ゲーテッド特徴精錬モジュールが、不要なコンテキスト情報をフィルタリングすることで、検出性能をどの程度向上させるか？
• RQ4 入力フレーム数が、動画ベースの3D物体検出システムにおける検出精度に及ぼす影響はどの程度か？

主な発見

• 提案されたTCTRモデルは、nuScenesベンチマークで50.47 mAPを達成し、新たな最先端性能を樹立した。
• 1フレームベースラインを7.4 mAP、前回の最先端マルチフレーム手法を5.1 mAP上回った。
• アブレーションスタディにより、時間的およびチャネルワイドな相関を同時にモデル化する（TCエンコーダー）ことが、いずれかを無視する手法（例：TエンコーダーやCエンコーダー）よりも優れていることが確認された。
• ゲーテッド特徴精錬モジュール（FRM）は50.47 mAPを達成し、連結（49.21 mAP）および加算（49.37 mAP）統合戦略を上回った。
• 入力フレーム数が増えるにつれて性能が一貫して向上し、7フレームで44.68 mAPに到達した。これにより、より長いコンテキスト集約の価値が示された。
• モデルの設計により、不要な環境的特徴からのノイズが効果的に低減され、アテンションとゲーティングによる物体関連表現の強化が実現された。