[論文レビュー] MatrixNets: A New Scale and Aspect Ratio Aware Architecture for Object Detection

Abdullah Rashwan, Rishav Agarwal+2 more|arXiv (Cornell University)|Jan 9, 2020

Advanced Neural Network Applications被引用数 5

ひとこと要約

MatrixNetsは、特徴マップを行列構造に整理することで、サイズとアスペクト比に注意を払った新しいCNNアーキテクチャを導入し、各セルが特定のサイズおよびアスペクト比のオブジェクトを処理する。この設計により、多様なオブジェクト形状やサイズにおけるより均一な特徴表現が可能となり、検出精度が向上し、MS COCOで47.8 mAPを達成。FPNおよびCornerNetベースラインを上回り、2段階検出器に近い性能を実現した。

ABSTRACT

We present MatrixNets (xNets), a new deep architecture for object detection. xNets map objects with similar sizes and aspect ratios into many specialized layers, allowing xNets to provide a scale and aspect ratio aware architecture. We leverage xNets to enhance single-stage object detection frameworks. First, we apply xNets on anchor-based object detection, for which we predict object centers and regress the top-left and bottom-right corners. Second, we use MatrixNets for corner-based object detection by predicting top-left and bottom-right corners. Each corner predicts the center location of the object. We also enhance corner-based detection by replacing the embedding layer with center regression. Our final architecture achieves mAP of 47.8 on MS COCO, which is higher than its CornerNet counterpart by +5.6 mAP while also closing the gap between single-stage and two-stage detectors. The code is available at https://github.com/arashwan/matrixnet.

研究の動機と目的

• 既存の特徴マップピラミッドネットワーク（FPNs）が、特に長方形のオブジェクトに対してアスペクト比の変化に対応できないという限界を解消すること。
• サイズとアスペクト比の両方に基づいてオブジェクトを特徴マップ層に割り当てるバックボーンを設計することで、1段階検出器の性能を向上させること。
• MatrixNetアーキテクチャを用いて、アンカーベースおよびコーナーベースの検出フレームワークの両方を強化すること。
• 多様なオブジェクト形状に対するより良い特徴表現により、1段階検出器と2段階検出器の性能差を縮小すること。
• MatrixNetsが、さまざまなコンピュータビジョンタスクにおけるFPNの即時置換として機能できることを示すこと。

提案手法

• MatrixNetsは、特徴マップを行列構造に整理し、対角成分の層がFPNのレベルに対応し、非対角成分の層はダウンサンプリングによって得られ、多様なサイズ-アスペクト比の組み合わせをカバーする。
• 各マトリクスセルは、サイズとアスペクト比が事前に定義された範囲内にあるオブジェクトを処理し、受容 field のカバレッジを均一に保つ。
• 各マトリクス層に対して1つの出力サブネットワークを用い、正方形の畳み込みカーネルにより、アスペクト比にわたるバランスの取れた情報収集を可能にする。
• アンカーベース検出では、各特徴マップに1つのアンカーを用い、アンカーレス設計に近づける一方で、左上および右下のコーナーの回帰を維持する。
• コーナーベース検出では、MatrixNetsは左上および右下のコーナーのヒートマップを予測し、マッチングを改善するために中心座標の回帰を用い、エンベッディング層を置き換える。
• 柔軟なバックボーン統合（例：ResNet50-X、ResNet101-X）をサポートし、基本層範囲およびトレーニングクロップサイズのハイパーパramータチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なFPNと比較して、行列構造の特徴階層は、多様なアスペクト比を持つオブジェクトの検出性能を向上させることができるか？
• RQ2 サイズとアスペクト比に基づいてオブジェクトをマトリクス層に割り当てる方法が、1段階検出器の検出精度に与える影響は何か？
• RQ3 MatrixNetsは、CornerNetのようなコーナーベースのオブジェクト検出フレームワークをどの程度向上させることができるか？
• RQ4 MS COCOで性能を最大化するために、最適な基本層範囲とトレーニングクロップサイズの設定は何か？
• RQ5 MatrixNetsは、1段階検出器と2段階検出器の性能差を埋めることが可能か？

主な発見

• MatrixNetsはMS COCOで47.8 mAPを達成し、CornerNetベースラインより+5.6 mAPの向上を達成した。
• FPNの5層に対し19層のマトリクス層を用いることで、mAPは35.9から41.0に上昇し、層の細分化による利点が明確に示された。
• 24px–48pxの最適な基本層範囲は、オブジェクトの割り当てをバランスよく保ち、全マトリクス層での性能向上を実現した。
• 640×640の大きなトレーニングクロップサイズは、512×512よりも性能を向上させた。特に、小さなオブジェクトを処理する右下マトリクス層で顕著であった。
• ResNet152-XとMatrixNetを組み合わせた場合、Corners- $x$ Netで44.7 mAPを達成し、より深いバックボーンとのスケーラビリティが顕著に示された。
• 可視化結果から、MatrixNetを用いることで、FPNと比較して長方形のオブジェクトに対してよりタイトなバウンディングボックスが得られ、アスペクト比の取り扱いが優れていることが確認された。