[論文レビュー] PFDet: 2nd Place Solution to Open Images Challenge 2018 Object Detection Track

Takuya Akiba, Tommi Kerola+4 more|arXiv (Cornell University)|Sep 4, 2018

Advanced Neural Network Applications参考文献 15被引用数 15

ひとこと要約

PFDetは、512台のGPUを用いたマルチノードバッチ正規化でトレーニングされたスケーラブルなオブジェクト検出システムであり、2018年のOpen Images Detection Challengeで2位を獲得した。ノイズの多いラベルを軽減するための共起損失を導入し、レアクラスで微調整されたエキスパートモデルを用いることで、パーツクラスおよびレアカテゴリの性能が最大9.2 AP向上した。

ABSTRACT

We present a large-scale object detection system by team PFDet. Our system enables training with huge datasets using 512 GPUs, handles sparsely verified classes, and massive class imbalance. Using our method, we achieved 2nd place in the Google AI Open Images Object Detection Track 2018 on Kaggle.

研究の動機と目的

• 170万枚の画像と1200万個のバウンディングボックスを含む極度に不均衡なクラスを示すOpen Images Dataset V4上で大規模オブジェクト検出器をトレーニングする課題に対処する。
• 未検証クラスがラベル付けされないため、パーツクラスに対して誤った負例予測が生じるOIDにおける疎なアノテーションの問題を克服する。
• 最も一般的なクラス（Person）が80万枚以上、最もレアなクラス（Pressure Cooker）がたった13枚にとどまるような巨大なクラス不均衡を緩和しながら、共通クラスのパフォーマンスを低下させない。
• 512台のGPUを用いたスケーラブルなトレーニングを可能にするマルチノードバッチ正規化により、トレーニング時間を短縮しながらモデルの正確性を維持する。

提案手法

• SE-ResNeXt-101およびSENet-154バックボーンを用いた2段階のFaster R-CNNフレームワークを採用し、特徴マップのピラミッドネットワーク（FPN）、ピラミッド空間プーリング（PSP）、および5段階のスケール拡張によりグローバルなコンテキストを向上させる。
• ChainerMNを介してマルチノードバッチ正規化を適用し、512台のGPUでバッチサイズ512の安定したトレーニングを実現し、大規模な効率的トレーニングを可能にする。
• 共起損失を導入し、被検出オブジェクトのクラスが存在し、かつ空間的に近接している場合にパーツクラスの学習信号を抑制することで、疎なラベル付けによる誤った負例を低減する。
• OIDの意味的階層構造を用いてクラス間の関係を構築し、被検出オブジェクト-パーツクラスペアを特定し、共起損失を空間的に重複する予測にのみ適用する。
• 頻度の最も低い250クラス（頻度順にソート済み）に対してエキスパートモデルを別個にトレーニングし、微調整した後、汎用モデルとアンサンブルすることで、共通クラスのパフォーマンスを損なわず、稀なクラスの検出性能を向上させる。
• マルチラベル分類にはシグモイド交差エントロピー損失を、学習率スケジューリングにはコサインアニーリングを、推論には非最大値抑制（NMW）を用いることで重複検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 Open Images Dataset V4はMS COCOと比べて183倍も不均衡なため、オブジェクト検出器をどのようにスケールアップして効果的にトレーニングできるか？
• RQ2 未検証クラスがラベル付けされないOIDにおける疎なアノテーションの影響を軽減するにはどのような技術が必要か？ これはパーツクラスの誤った負例予測を引き起こす。
• RQ3 レアクラスに特化してトレーニングされたエキスパートモデルは、共通クラスの精度を低下させることなく、検出性能を向上させられるか？
• RQ4 共起損失は、パーツクラス検出における誤った負例予測によるノイズの多い監視信号をどの程度低減できるか？
• RQ5 マルチノードバッチ正規化は、512台のGPUでバッチサイズ512のトレーニングをどのように安定化させ、このような大規模データセット上で効果的に実行できるか？

主な発見

• 最終的なアンサンブルモデルは、検証セットで74.07%のmAPを達成し、パブリックリーダーボードでは優勝者より1.17%高く、プライベートリーダーボードでは僅か0.03%差で後塵を拝した。
• 共起損失により、影響を受ける47のパーツクラスの平均APが9.2ポイント向上し、顔（Face）では最大34.3ポイント（55.2から91.4に）の向上を記録した。
• 11番目から100番目までの頻度の高いクラスに特化して微調整したエキスパートモデルは、mAPを全モデルの51.9%から65.6%に向上させ、稀なクラスの検出性能に顕著な向上を示した。
• 100番目から250番目までのクラスに特化して微調整したエキスパートモデルは、mAPを70.5%から73.1%に向上させたが、より一般的なクラス（251–350）では性能が低下した。これはモデルの範囲に関するトレードオフを示している。
• 共起損失と完全なアンサンブルを組み合わせたモデルは74.07%のmAPを達成し、ベースライン（60.0%）から14.07ポイントの向上を達成した。各アーキテクチャ的およびトレーニング的要因が段階的に寄与した。
• 512台のGPUを用いたマルチノードバッチ正規化によるトレーニングは、シングルノード（8-GPU）トレーニングの83%のスループット効率を達成し、高いスケーラビリティを示した。