[論文レビュー] Modeling Visual Context is Key to Augmenting Object Detection Datasets

Nikita Dvornik, Julien Mairal+1 more|arXiv (Cornell University)|Jul 19, 2018

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 13

ひとこと要約

この論文は、セグメンテーションアノテーションと学習された視覚的文脈モデルを活用して、物体検出のためのデータ拡張手法を提案する。この手法により、物体を現実的にシーンに配置でき、特にラベル付きデータが限られた状況でも平均平均精度（mAP）が顕著に向上する。CNNベースの文脈モデルを用いて文脈的関係をモデル化することで、ランダム配置や標準的な拡張法を上回り、VOC’12ではわずか25%の学習データでも相対的に6%の向上を達成する。

ABSTRACT

Performing data augmentation for learning deep neural networks is well known to be important for training visual recognition systems. By artificially increasing the number of training examples, it helps reducing overfitting and improves generalization. For object detection, classical approaches for data augmentation consist of generating images obtained by basic geometrical transformations and color changes of original training images. In this work, we go one step further and leverage segmentation annotations to increase the number of object instances present on training data. For this approach to be successful, we show that modeling appropriately the visual context surrounding objects is crucial to place them in the right environment. Otherwise, we show that the previous strategy actually hurts. With our context model, we achieve significant mean average precision improvements when few labeled examples are available on the VOC'12 benchmark.

研究の動機と目的

• ラベル付き学習データが少ない状況における物体検出の過学習問題に対処すること。
• 基本的な幾何的および色の変換を越えた、物体検出のためのデータ拡張を改善すること。
• データ拡張の段階で視覚的文脈を明示的にモデル化することで、物体検出の性能が向上するかを調査すること。
• セグメンテーションアノテーションと学習された文脈モデルを用いて、物体インスタンスを現実的なシーン文脈に適切に配置する手法を開発すること。

提案手法

• セグメンテーションマスクを入力として、シーンの文脈に基づいて妥当な物体配置を予測するための畳み込みニューラルネットワーク（CNN）を訓練する。
• アノテート済み画像から物体インスタンスを抽出し、文脈モデルの予測を用いて新しいシーンに貼り付けることで、空間的および意味的整合性を確保する。
• 二段階のブレンド戦略を採用する：第一に、文脈に配慮した配置に基づいて物体のクロップをリサイズおよび再配置する。第二に、ブレンドアーチファクトを再ブレンド技術により低減する。
• 文脈モデルは、VOC’12のセグメンテーションデータ上でエンドツーエンドに訓練され、物体とその周囲の空間的および意味的関係を学習する。
• ラベル付き学習例の数を系統的に減らすことで、低データ環境下での評価を実施する。
• アブレーションスタディでは、ランダム配置、文脈に配慮した配置、文脈モデリングの削除を比較し、その貢献度を分離する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張段階で視覚的文脈をモデル化することで、ランダム配置と比較して物体検出の一般化性能が向上するか？
• RQ2 ラベル付き例が非常に少ない状況下で、文脈に配慮したデータ拡張は性能にどのように影響するか？
• RQ3 学習された文脈モデルは、検出mAPを向上させる現実的な物体配置を効果的に予測できるか？
• RQ4 ブレンドアーチファクトおよび拡大に基づく増幅が、増幅の品質とモデル性能に与える影響は何か？
• RQ5 データが不足する状況下で、標準的なデータ拡張法やランダム配置と比較して、提案手法はmAP向上にどの程度優れているか？

主な発見

• 文脈に配慮したデータ拡張手法は、VOC’12で57.5%の平均平均精度（mAP）を達成し、ベースモデル（48.7%）やランダム配置（48.3%）と比べ顕著な向上を示した。
• 学習データの25%のみで、文脈に配慮したアプローチは38.3%のmAPを達成したのに対し、ベースモデルでは32.5%にとどまり、5.8ポイントの改善が見られた。
• 文脈モデルを削除した場合、mAPは33.9%に低下し、文脈モデリングが性能向上に不可欠であることが示された。
• この手法は過学習を低減し、一般化性能を向上させた。特に、データが少ない環境下でその効果が顕著に現れた。
• セグメンテーションマスク内にアーチファクトが存在する場合や、文脈モデルが誤った物体クラスを予測した場合には、不自然な配置が生じる失敗事例が観察された。
• 拡大に基づく増幅によるアーチファクトは、特に拡大された領域で目立つことがあり、このベースライン手法の限界を浮き彫りにした。