[論文レビュー] Weakly-supervised Discovery of Visual Pattern Configurations

Hyun Oh Song, Yong Jae Lee+2 more|arXiv (Cornell University)|Jun 25, 2014

Advanced Image and Video Retrieval Techniques参考文献 31被引用数 103

ひとこと要約

この論文は、制約付きサブモジュラー最適化を用いて、重複しない部分ベースのパッチの組み合わせである判別的視覚パターン構成を弱教師あり学習で発見する手法を提案する。空間的に意味のある判別的部分の共起的構成を特定することで、PASCAL VOC におけるオブジェクト検出の精度が向上し、強力なアノテーションを用いずに、情報量の多いハードネガティブ例を生成し、局所化誤差を低減する。

ABSTRACT

The increasing prominence of weakly labeled data nurtures a growing demand for object detection methods that can cope with minimal supervision. We propose an approach that automatically identifies discriminative configurations of visual patterns that are characteristic of a given object class. We formulate the problem as a constrained submodular optimization problem and demonstrate the benefits of the discovered configurations in remedying mislocalizations and finding informative positive and negative training examples. Together, these lead to state-of-the-art weakly-supervised detection results on the challenging PASCAL VOC dataset.

研究の動機と目的

• 単一の、しばしば部分ベースの判別的パッチに依存することによる弱教師ありオブジェクト検出における誤局所化を是正すること。
• 孤立した領域ではなく、頻度が高く空間的に一貫性のある視覚パターンの構成を特定することで、検出のロバスト性を向上させること。
• 検出器のトレーニングを改善するために、発見された構成から高品質なハードネガティブ例を生成すること。
• インスタンスレベルのバウンディングボックスの監視を一切用いずに、画像ラベルのみを用いて PASCAL VOC で最先端の性能を達成すること。

提案手法

• 判別的視覚パターンの発見を、マトロイドインターセクション制約の下でサブモジュラー関数を最大化する制約付きサブモジュラー最適化問題として定式化する。
• 正例画像に頻出するが負例にまれなパッチを特定するための判別的カバーイング定式化を用いる。
• 重複または冗長なパッチの選択を回避するための独立性制約を適用し、多様で重複のない部分構成を保証する。
• 変換空間（平行移動、スケール、アスペクト比）におけるビニングスキームを用いて類似したパッチをグループ化し、共起する構成を同定する。
• ノードが検出された部分を表し、エッジが共起頻度を表すグラフ $\mathcal{G}_P$ を構築し、次数の高いノードが顕著な構成を示す。
• 発見された構成を用いて、構成との IOU が低い領域を選択することでハードネガティブ例を生成し、検出器の汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一のパッチに依存するのではなく、複数の判別的視覚パターンの構成を発見することで、弱教師ありオブジェクト検出を改善できるか？
• RQ2 空間的に一貫性がある一方で、重複や冗長性のない視覚パターンを選択するにはどうすればよいか？
• RQ3 発見された構成は、単一パッチ検出器と比較して、オブジェクト全体の空間的カバレッジをどの程度向上させるか？
• RQ4 従来の手法と比較して、構成を用いてより情報量の多いハードネガティブ例を生成できるか？
• RQ5 提案手法は、インスタンスレベルの監視を一切用いずに、PASCAL VOC で最先端の性能を達成できるか？

主な発見

• 線形SVMを用いた場合、PASCAL VOC 2007 テストセットで24.6%という最先端の平均平均精度（mAP）を達成し、先行する弱教師あり手法を上回った。
• 人間クラスでは、SVMで21.2%、LSVMで14.8%のmAPを達成し、以前の最高水準（9.1%）と比べて顕著な向上を示した。
• 発見されたハードネガティブ例を組み込むことで、隣接するネガティブ領域を用いる場合と比較して、mAPがSVMで0.9%、LSVMで0.9%向上した。これは、それらの例が情報量が多いことを示している。
• 定性的な結果から、人間では「顔－胴体」、自転車では「ホイール－ボディ」、車では「窓－フレーム」といった意味のある構成が一貫して発見された。
• 重複しない部分構成の組み合わせにより、オブジェクト全体をよりよくカバーするようになり、誤局所化が低減された。
• マトロイドインターセクション制約は、冗長なパッチの選択を効果的に防ぎ、多様で空間的に意味のある部分の組み合わせの発見を可能にした。