[論文レビュー] Rank of Experts: Detection Network Ensemble

Seung‐Hwan Bae, Youngwan Lee+3 more|arXiv (Cornell University)|Dec 1, 2017

Advanced Neural Network Applications参考文献 37被引用数 5

ひとこと要約

本論文では、平均適合度順位に基づき、共同学習を伴わずに、各オブジェクトクラスごとに最高性能の検出器を選択・統合するクラス別アンサンブル手法であるRank of Expertsを提案する。この手法はILSVRC 2017検出コンペティションで2位を獲得し、PASCAL VOCおよびILSVRCデータセットでmAPを4–5%向上させた。

ABSTRACT

The recent advances of convolutional detectors show impressive performance improvement for large scale object detection. However, in general, the detection performance usually decreases as the object classes to be detected increases, and it is a practically challenging problem to train a dominant model for all classes due to the limitations of detection models and datasets. In most cases, therefore, there are distinct performance differences of the modern convolutional detectors for each object class detection. In this paper, in order to build an ensemble detector for large scale object detection, we present a conceptually simple but very effective class-wise ensemble detection which is named as Rank of Experts. We first decompose an intractable problem of finding the best detections for all object classes into small subproblems of finding the best ones for each object class. We then solve the detection problem by ranking detectors in order of the average precision rate for each class, and then aggregate the responses of the top ranked detectors (i.e. experts) for class-wise ensemble detection. The main benefit of our method is easy to implement and does not require any joint training of experts for ensemble. Based on the proposed Rank of Experts, we won the 2nd place in the ILSVRC 2017 object detection competition.

研究の動機と目的

• 大規模検出においてオブジェクトクラス数の増加に伴い性能が低下する課題に対処する。
• 全体のmAPは高いが特定クラスで性能が劣る単一モデル検出器の限界を克服する。
• 共同学習を必要とせず、効率的なアンサンブル戦略を構築し、クラス別検出精度を向上させる。
• 全体のmAPではなく、各クラスごとの強みに基づき検出器を効果的に組み合わせることを可能にする。

提案手法

• 異なる特徴抽出器（ResNet、VGG、WRI-Net）とメタアーキテクチャ（Faster R-CNN、SSD、DSSD）を用いて多様な検出器プールを構築する。
• 各検出器について、各オブジェクトクラスにおける平均適合度（AP）を計算し、クラスごとの検出器性能ランク行列を構築する。
• 各オブジェクトクラスに対して、APスコアに基づき上位-k番目の検出器（エキスパート）を選択する。この際、アンサンブルサイズを制御するための可変パラメータδを用いる。
• 各クラスの上位検出器からの検出結果を非最大抑制（NMS）およびソフトNMSを用いて統合し、最終予測を生成する。
• 類似度に基づくプルーニング戦略を採用し、選択されたエキスパートアンサンブルの多様性を保証する。
• 再トレーニングを伴わず、マルチスケールテストとソフトNMSを適用することで、検出品質をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 クラス別アンサンブル戦略は、単一モデル検出器と比較して、多様なオブジェクトクラス全体での検出性能を顕著に向上させることができるか？
• RQ2 各クラスごとの平均適合度で検出器をランク付けすることで、全体のmAPを基準に選択するよりも優れたアンサンブル性能が得られるか？
• RQ3 共同学習や微調整を伴わず、計算効率を維持したまま効果的なアンサンブル手法が実現可能か？
• RQ4 各クラスで選択されるエキスパート数（δによって制御）の変化が、全体のmAPおよびアンサンブルの頑健性に与える影響は何か？
• RQ5 本手法は、グリーディなmAPベース選択やモデル結合といった既存のアンサンブル戦略をどの程度上回るか？

主な発見

• Rank of Expertsアンサンブルは、最良の単一検出器と比較して、ILSVRC 2017バリデーションセットでmAPを4.15%向上させた。
• PASCAL VOC 2007および2012では、ベースライン検出器と比較してmAPが4%向上した。
• 本手法はILSVRC 2017オブジェクト検出コンペティションで2位を獲得し、クラス別検出性能において多数の上位チームを上回った。
• 最適なδ値は0.03であり、PASCAL VOCでは81.24%、ILSVRCでは62.54%のmAPを達成した。δ値の変化に伴う性能変動は最小限に抑えられた。
• PASCAL VOCおよびILSVRCの両データセットにおいて、Google [14]のアンサンブル手法よりも高いmAPを達成した。特に大規模検出において顕著な優位性を示した。
• PASCAL VOCでは約140 FPS、ILSVRCでは約9.37 FPSの実行速度を達成した。ソフトNMSが主な性能ボトルネックであった。