[論文レビュー] Analysing domain shift factors between videos and images for object detection

Vicky Kalogeiton, Vittorio Ferrari+1 more|arXiv (Cornell University)|Jan 6, 2015

Advanced Neural Network Applications参考文献 30被引用数 4

ひとこと要約

この論文は、物体検出のための静止画と動画フレームの間のドメインシフト要因を体系的に分析し、空間的位置精度、外観の多様性、画像品質、アスペクト比分布が性能ギャップの主な要因であると特定している。これらの要因を段階的に均等化することで、画像学習と動画学習の両方で訓練された検出器のmAPギャップを1.5%未満にまで低減した。画像品質とアスペクト比分布がクロスドメイン一般化において特に重要であることが示された。

ABSTRACT

Object detection is one of the most important challenges in computer vision. Object detectors are usually trained on bounding-boxes from still images. Recently, video has been used as an alternative source of data. Yet, for a given test domain (image or video), the performance of the detector depends on the domain it was trained on. In this paper, we examine the reasons behind this performance gap. We define and evaluate different domain shift factors: spatial location accuracy, appearance diversity, image quality and aspect distribution. We examine the impact of these factors by comparing performance before and after factoring them out. The results show that all four factors affect the performance of the detectors and their combined effect explains nearly the whole performance gap.

研究の動機と目的

• 画像と動画で訓練された物体検出器の性能ギャップを引き起こすドメインシフト要因を特定・定量すること。
• 空間的位置精度、外観の多様性、画像品質、アスペクト比分布といった各要因が検出器性能に与える影響を評価すること。
• これらの要因を均等化することで、画像学習と動画学習の両方で訓練された検出器の性能ギャップを縮小または解消できるかどうかを検証すること。
• 弱教師付き動画ベースの学習に関する今後の研究を支援するため、どの要因が検出器の一般化を最も妨げているかを明らかにすること。

提案手法

• 著者らは2組のデータセットを分析した：PASCAL VOC 07（静止画）とYouTube-Objects（動画）、およびILSVRC 2015の静止画および動画のトラック。
• 空間的位置精度、外観の多様性、画像品質（勾配エネルギーとぼかしで測定）、アスペクト比分布（KLダイバージェンスで測定）の4つのドメインシフト要因を定義・分離した。
• 各要因について、訓練データを同等にするための均等化手順を適用した。例：ユニークなサンプル数を合わせる、動画のぼかしレベルに合わせてガウスノイズを適用、アスペクト比分布を再重み付けする。
• R-CNN検出器を元の訓練データセットおよび均等化済みの訓練データセットで学習させ、静止画および動画のテストデータセットで評価し、mAP性能を測定した。
• 各均等化ステップの前後で性能ギャップを測定し、各要因が果たす寄与度を分離した。
• 要因を1つずつキャンセルする構造的なプロトコルを用い、性能ギャップの段階的低減を観察した。

実験結果

リサーチクエスチョン

• RQ1 画像と動画で訓練された物体検出器の間の性能ギャップに寄与する具体的なドメインシフト要因は何か？
• RQ2 外観の多様性、画像品質、アスペクト比分布、空間的位置精度といった各要因が、性能ギャップにどの程度寄与しているか？
• RQ3 これらのドメインシフト要因を均等化することで、画像学習と動画学習の両方で訓練された検出器の性能ギャップを顕著に低減または解消できるか？
• RQ4 どの要因がドメイン間での検出器一般化に最も大きな影響を与えているか？

主な発見

• 4つのドメインシフト要因の組み合わせ効果が、画像と動画で学習した検出器の間の性能ギャップのほぼ全容を説明している。
• 画像品質の影響は強く、ぼかしレベルを均等化することでギャップが顕著に低減される。特に、動画フレームのほうがぼやけている場合に顕著である。
• 外観の多様性の影響は、訓練データが十分に多い場合には小さい。ユニークなサンプルの40％を除去しても、静止画での性能は依然として高いままである。
• アスペクト比分布の影響は大きく、アスペクト比分布を均等化することで、両方のテストドメインで性能ギャップの大部分が解消される。
• 4つの要因をすべて均等化した後、画像学習と動画学習の両方で訓練された検出器の最終的なmAPギャップは、両方のテストデータセットで1.5%未満にまで低下した。
• 本研究は、ぼかしの除去アルゴリズムと動画データにおける広範なアスペクト比カバレッジが、単に訓練サンプル数を増やすのよりも効果的であることを示している。