[論文レビュー] You Only Look One-level Feature

Qiang Chen, Ying‐Ming Wang+4 more|arXiv (Cornell University)|Mar 17, 2021

Advanced Neural Network Applications参考文献 51被引用数 7

ひとこと要約

本論文は、マルチスケール特徴マップピラミッドではなく、単一の特徴マップ（C5 または DC5）のみを用いることで、競争力のある精度を達成するワンステージオブジェクト検出器 YOLOF を提案する。拡張畳み込みを用いたDilated Encoder を導入してマルチスケールのコンテキストを捉え、アンカーマッチングを均一化するUniform Matchingを採用することで、RetinaNet と同等の性能を達成しながら 2.5 倍高速化され、収束速度において DETR を上回り、608×608 入力で 2080Ti で 60 fps で 44.3 mAP を達成する。

ABSTRACT

This paper revisits feature pyramids networks (FPN) for one-stage detectors and points out that the success of FPN is due to its divide-and-conquer solution to the optimization problem in object detection rather than multi-scale feature fusion. From the perspective of optimization, we introduce an alternative way to address the problem instead of adopting the complex feature pyramids - {\em utilizing only one-level feature for detection}. Based on the simple and efficient solution, we present You Only Look One-level Feature (YOLOF). In our method, two key components, Dilated Encoder and Uniform Matching, are proposed and bring considerable improvements. Extensive experiments on the COCO benchmark prove the effectiveness of the proposed model. Our YOLOF achieves comparable results with its feature pyramids counterpart RetinaNet while being $2.5 imes$ faster. Without transformer layers, YOLOF can match the performance of DETR in a single-level feature manner with $7 imes$ less training epochs. With an image size of $608 imes608$, YOLOF achieves 44.3 mAP running at 60 fps on 2080Ti, which is $13\%$ faster than YOLOv4. Code is available at \url{https://github.com/megvii-model/YOLOF}.

研究の動機と目的

• FPN のワンステージ検出器における成功の主な要因がマルチスケール特徴融合か、あるいは分割統治戦略かを調査すること。
• ワンステージ検出器における高性能を達成するために、複雑な特徴ピラミッド統合が不可欠であるという仮定を疑うこと。
• 単一の特徴レベルのみを用いて、FPN に基づく検出器の単純で効率的な代替案を開発すること。
• マルチスケールコンテキストの欠如とアンカーの不均衡という問題に取り組み、単一特徴マップ検出の性能を向上させること。
• トランスフォーマー モジュールや複雑なアーキテクチャを用いずに、最先端の速度-精度トレードオフを達成すること。

提案手法

• バックボーン ネットワークの C5 特徴マップ（ダウンサンプリング率 32）のみを用いる単一特徴マップ検出器 YOLOF を提案する。
• マルチスケールコンテキストを追加の特徴レベルなしに捉えるために、感受野を拡大する拡張畳み込みを用いた変更版バックボーン（Dilated Encoder）を導入する。
• 特徴マップ全体に均等に上位 k 個の IoU アンカーを選択することで、希なアンカーによる不均衡を軽減する Uniform Matching を採用する。
• 一般化性能を向上させるために、学習率の段階的低下と SWA（シャープネス認識最小化）を組み合わせた三段階訓練スケジュールを採用する。
• 1 つの位置に 5 個のアンカー（面積 32² から 512²、アスペクト比 1）を設定する修正版アンカーパラメータを採用し、1 つの特徴マップで全オブジェクトスケールをカバーする。
• アブレーションにより検証された ATSS を k=15（k=9 ではない）で採用し、より良い正例選択を実現する。

実験結果

リサーチクエスチョン

• RQ1 FPN のワンステージ検出器における成功の主な要因がマルチスケール特徴融合か、それとも分割統治戦略かがより重要なのか？
• RQ2 明示的なマルチスケール特徴融合なしに、ワンステージ検出器が単一の特徴レベルのみで競争力のある性能を達成できるか？
• RQ3 複雑さを加えずに、単一特徴マップ検出器とマルチレベル特徴マップ検出器の性能格差を埋めることは可能か？
• RQ4 FPN に基づくモデルに匹敵またはそれを上回る性能を達成するための最適なハイパーパramータと訓練戦略は何か？
• RQ5 トランスフォーマー ベースの検出器（例：DETR）より、単一特徴マップ検出器がより高速に収束し、より高い精度を達成できるか？

主な発見

• シングルインプット・マルチアウトプット（SiMo）エンコーダーは、マルチインプット・マルチアウトプット（FPN）エンコーダーと比較して 1 mAP 以内の性能を達成しており、マルチスケール特徴融合が従来の考え以上に重要ではないことを示している。
• ミソ（MiSo）およびシソ（SiSo）エンコーダーは 12 mAP 以上の低下を示しており、スケールベースの部分問題分解による分割統治戦略が最適化において不可欠であることを確認している。
• C5 特徴マップを用いた YOLOF は、ResNet-50 を用いて COCO で 39.2 mAP を達成し、RetinaNet（39.1 mAP）と同等の性能を示すが、2.5 倍高速である。
• YOLOF-DC5（ダウンサンプリング率 16 の拡張 C5）は、ResNet-101 を用いて 40.5 mAP を達成し、標準 YOLOF を上回り、17 FPS で動作する。
• 608×608 入力で 2080Ti で 60 fps で 44.3 mAP を達成し、YOLOv4 よりも 13% 速く、優れた速度-精度トレードオフを示している。
• DETR よりも 7 倍高速に収束し、トランスフォーマー レイヤーを含まないにもかかわらず最終的な性能を同等に達成している。