[論文レビュー] Reinforced Axial Refinement Network for Monocular 3D Object Detection

Lijie Liu, Chufan Wu+4 more|arXiv (Cornell University)|Aug 31, 2020

Advanced Neural Network Applications参考文献 50被引用数 6

ひとこと要約

本稿では、1枚の単眼画像から1つの軸パラメータを1回に1つずつ調整することで、反復的に3次元オブジェクト検出ボックスを精緻化する強化学習ベースの後処理フレームワーク、Reinforced Axial Refinement Network (RAR-Net) を提案する。KITTIで最大18.25%の3次元平均適合度（3D AP）向上を達成し、計算コストの増加は最小限に抑えられ、サンプリング効率と検出精度の両面で顕著な向上を示している。

ABSTRACT

Monocular 3D object detection aims to extract the 3D position and properties of objects from a 2D input image. This is an ill-posed problem with a major difficulty lying in the information loss by depth-agnostic cameras. Conventional approaches sample 3D bounding boxes from the space and infer the relationship between the target object and each of them, however, the probability of effective samples is relatively small in the 3D space. To improve the efficiency of sampling, we propose to start with an initial prediction and refine it gradually towards the ground truth, with only one 3d parameter changed in each step. This requires designing a policy which gets a reward after several steps, and thus we adopt reinforcement learning to optimize it. The proposed framework, Reinforced Axial Refinement Network (RAR-Net), serves as a post-processing stage which can be freely integrated into existing monocular 3D detection methods, and improve the performance on the KITTI dataset with small extra computational costs.

研究の動機と目的

• 3次元空間における希な正例サンプルによる3次元オブジェクト検出の低サンプリング効率の課題に対処すること。
• 制御された軸パラメータの調整の連鎖により、初期予測を精緻化することで3次元検出精度を向上させること。
• 既存の単眼3次元検出器と互換性があり、再トレーニングなしに性能を向上できる、プラグアンドプレイ型の精緻化モジュールを開発すること。
• 複数ステップにわたる累積的な3次元IoU向上を最大化するように、強化学習を用いて精緻化方策を最適化すること。
• 2次元画像特徴と3次元検出ボックスの幾何構造を統合した効果的な状態表現を設計し、より優れた誘導を実現すること。

提案手法

• 各アクションが3次元バウンディングボックスの1つの軸パラメータ（x, y, z, 幅, 高さ, 厚さ）を変更するように、3次元精緻化プロセスをマルコフ決定過程（MDP）として定式化する。
• 元のRGB画像に加え、現在の3次元ボックスの色分けされた2次元投影図を含む6チャネル入力を使用した深層Qネットワーク（DQN）を採用し、空間的および幾何的文脈を提供する。
• アクション空間を6つの3次元パラメータそれぞれに沿った離散的なステップとして定義し、制御されたステップサイズによる安定的かつ解釈可能な精緻化を可能にする。
• 合成的トラジェクトリの効率的な強化学習事前学習のため、ずらされた正例ボックスからの密な監督を用いてポリシーを学習する。
• 複数ステップにわたる精緻化ステップで累積される、3次元IoUに基づく密な報酬信号を用いて、ポリシーをエンドツーエンドで最適化する。
• 任意の単眼3次元検出器の後処理モジュールとしてRAR-Netを統合し、最小限の遅延でプラグアンドプレイ型のデプロイを可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習で誘導される反復的かつ軸に沿った精緻化は、単眼設定下で3次元検出精度を顕著に向上させることができるか？
• RQ2 2次元画像と3次元ボックスの投影を統合した状態表現の設計が、精緻化性能に与える影響は何か？
• RQ3 離散的アクション空間とステップサイズが、精緻化プロセスの収束性と精度に与える影響は何か？
• RQ4 3次元ボックス精緻化において、強化学習は直接回帰やヒューリスティックな精緻化戦略を上回る性能を発揮するのか？
• RQ5 提案手法は、インフェレンス速度の低下を伴わずに、軽量な後処理モジュールとして効率的にデプロイ可能か？

主な発見

• RAR-Netは、GS3Dベースラインに適用した場合、KITTI 3次元オブジェクト検出ベンチマークで3次元平均適合度（3D AP）を最大18.25%向上させる。
• 追加のインフェレンス時間としてたった0.3秒の追加で、3D APを相対的に4%向上させ、ベースライン検出器が要する2秒よりもはるかに少ない。
• 制御されたステップサイズを用いた離散的軸精緻化は、不安定な最適化に陥りがちな直接の連続的回帰を上回る性能を発揮する。
• 3次元ボックスを色分けされた2次元画像に投影する画像強化手法は、単純な特徴統合に比べて顕著な性能向上をもたらす。
• アブレーションスタディにより、強化学習が全精緻化トラジェクトリを最適化するために不可欠であることが示され、教師あり学習やヒューリスティックベースラインを上回る性能向上が得られた。
• 精緻化ステップ数とステップサイズは、精度と速度に強く影響を与え、より小さいステップサイズは精度を向上させるが、インフェレンス時間の増加を伴う。