[論文レビュー] EDF: Ensemble, Distill, and Fuse for Easy Video Labeling

Giulio Zhou, Subramanya R. Dulloor+2 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 3被引用数 7

ひとこと要約

本論文では、アンサンブル物体検出と知識蒸留を組み合わせることで、最小限の人的ラベリングで高精度な動画物体検出を生成するEDFという手法を提案する。複数の事前学習済み検出器の予測を統合し、データ拡張を用いて強化されたアンサンブルの出力に基づいてコンactな学生ネットワークを訓練することで、個々の検出器やアンサンブル単体よりも高いmAPを達成し、KITTIおよびDETRACデータセットにおいて最先端のモデルを上回る性能を発揮する。

ABSTRACT

We present a way to rapidly bootstrap object detection on unseen videos using minimal human annotations. We accomplish this by combining two complementary sources of knowledge (one generic and the other specific) using bounding box merging and model distillation. The first (generic) knowledge source is obtained from ensembling pre-trained object detectors using a novel bounding box merging and confidence reweighting scheme. We make the observation that model distillation with data augmentation can train a specialized detector that outperforms the noisy labels it was trained on, and train a Student Network on the ensemble detections that obtains higher mAP than the ensemble itself. The second (specialized) knowledge source comes from training a detector (which we call the Supervised Labeler) on a labeled subset of the video to generate detections on the unlabeled portion. We demonstrate on two popular vehicular datasets that these techniques work to emit bounding boxes for all vehicles in the frame with higher mean average precision (mAP) than any of the reference networks used, and that the combination of ensembled and human-labeled data produces object detections that outperform either alone.

研究の動機と目的

• 人的ラベル付きフレームを最小限にすることで、動画物体アノテーションのコストと作業負荷を低減すること。
• 事前学習済み検出器と少量のラベル付きデータのみを用いて、未学習の動画における検出性能を向上させること。
• 個々の検出器やそれらのアンサンブルを上回る性能を達成するため、知識蒸留を用いた手法を開発すること。
• 汎用的（アンサンブル）および特定的（ラベル付き）な知識源を組み合わせることで、動画における検出精度がどのように向上するかを調査すること。

提案手法

• 境界ボックスのマージと信頼度再重み付けの新規スキームを用いて、事前学習済み物体検出器をアンサンブル化し、より信頼性の高い検出を生成する。
• モデル蒸留を適用して、アンサンブルの出力に基づいてコンパクトな学生ネットワークを訓練し、一般化性能を向上させるためにデータ拡張を用いる。
• 少量の人的ラベル付きフレーム上で教師付きラベラーを訓練し、ラベルなし部分の動画における検出を生成する。
• アンサンブルと教師付きラベラーの出力を統合することで、検出の信頼度と局所化精度を向上させる。
• オブジェクトトラッキングを用いて、フレーム間での信頼度と局所化の安定性を高め、時間的不一致を低減する。
• 効率的な推論を実現するため、特徴ピラミッドネットワーク（FPN）とシングルステージ検出器（例：MobileNet-SSD FPN）を活用する。

実験結果

リサーチクエスチョン

• RQ1 境界ボックスのマージと信頼度再重み付けを用いることで、アンサンブルは個々の検出器よりも信頼性の高い検出を生成できるか？
• RQ2 アンサンブルからの知識蒸留により、アンサンブル自身の精度を上回る検出性能が向上するか？
• RQ3 アンサンブルからの蒸留と少量の人的ラベル付きフレームを組み合わせることで、検出mAPはどのように向上するか？
• RQ4 オブジェクトトラッキングは、動画における検出信頼度の時間的整合性をどの程度向上できるか？
• RQ5 ノイズを含むアンサンブルのラベルで訓練された学生ネットワークは、アンサンブル自体を上回る性能を発揮できるか？

主な発見

• EDF手法は、DETRACデータセットにおいて、アンサンブル内で最高性能を示した検出器よりも1.25倍高いmAPを達成した。
• KITTIデータセットでは、EDFは最高性能のアンサンブルメンバーに対して1.21倍高いmAPを達成した。
• ノイズを含むアンサンブルの出力で訓練された学生ネットワークは、アンサンブル自体を上回る性能を発揮した、これは潜在的にノイズの多いラベルを用いていたにもかかわらずである。
• アンサンブルと人的ラベル付きデータの組み合わせにより、両者単体よりも精度の高い検出が得られた。
• オブジェクトトラッキングにより、視覚的変化が生じても、フレーム間での検出信頼度の変動が低減され、安定性が向上した。
• アンサンブルに弱い検出器を用いても本手法は有効であるため、個々の検出器のバイアスに対して頑健であることが示された。