[論文レビュー] Unsupervised Discovery of Mid-Level Discriminative Patches

Saurabh Singh, Abhinav Gupta+1 more|arXiv (Cornell University)|May 14, 2012

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 73

ひとこと要約

本論文は、画像パッチを繰り返しクラスタリングし、交差検証を用いた線形SVMを訓練することで、代表的で頻繁に出現し、顕著な視覚的単位である中レベルの判別性の高い画像パッチを、教師なしで発見する手法を提案する。このアプローチは、人為的ラベルが一切不要な状態で、より判別性が高く意味的に意味のある特徴を学習することで、MIT Indoor-67シーン分類データセットで最先端の性能を達成し、ビジュアルワードやスパatialピラミッド、その他の最先端手法を上回る。

ABSTRACT

The goal of this paper is to discover a set of discriminative patches which can serve as a fully unsupervised mid-level visual representation. The desired patches need to satisfy two requirements: 1) to be representative, they need to occur frequently enough in the visual world; 2) to be discriminative, they need to be different enough from the rest of the visual world. The patches could correspond to parts, objects, "visual phrases", etc. but are not restricted to be any one of them. We pose this as an unsupervised discriminative clustering problem on a huge dataset of image patches. We use an iterative procedure which alternates between clustering and training discriminative classifiers, while applying careful cross-validation at each step to prevent overfitting. The paper experimentally demonstrates the effectiveness of discriminative patches as an unsupervised mid-level visual representation, suggesting that it could be used in place of visual words for many tasks. Furthermore, discriminative patches can also be used in a supervised regime, such as scene classification, where they demonstrate state-of-the-art performance on the MIT Indoor-67 dataset.

研究の動機と目的

• 代表的で判別性の高い中レベルの視覚的特徴を、完全に教師なしで発見する手法を開発すること。
• 従来のビジュアルワードの限界、すなわち意味のある視覚的概念ではなく、低レベルのテクスチャやエッジを捉えがちな点を是正すること。
• 低レベル特徴よりも一般化性能が高く、高レベルの意味的検出器に伴うラベル付けの負担を回避する中レベル表現を構築すること。
• これらの判別性の高いパッチが、シーン分類のような教師ありタスクにおける優れたビジュアルワードとして機能できることを示すこと。

提案手法

• 本手法は、大規模な画像パッチデータセット上で、判別性の高いパッチの発見を教師なしの判別クラスタリング問題として定式化する。
• パッチのクラスタリングと、各クラスタを他のすべての視覚的背景から区別する線形SVMの訓練を交互に繰り返す反復的アルゴリズムを用いる。
• 各反復で交差検証を適用することで、過学習を防ぎ、未知の画像への一般化を確保する。
• 特徴量はHOG記述子を用い、パッチは学習されたSVM分類器を用いて検出する。
• 分類のための最終的な表現は、パッチ応答を空間ピラミッドに集約することで構築される。
• 本手法は教師なしおよび教師ありの両設定で評価され、画像ラベルを用いてパッチの発見をグローバルまたはカテゴリごとに実施する。

実験結果

リサーチクエスチョン

• RQ1 高さの判別性とカバー範囲を維持したまま、完全に教師なしで中レベルの視覚的特徴を発見できるか？
• RQ2 従来のビジュアルワードと比較して、判別性の高いパッチは、視覚的純度およびシーン分類性能においてどのように異なるか？
• RQ3 同じ教師なし発見プロセスを教師ありの枠組みに適応することで、分類精度を向上させられるか？
• RQ4 発見されたパッチは、教会のアーチ、ベンチ、テーブルといった直感的で意味的に意味のある視覚パターンを捉えているか？

主な発見

• 本手法は、教師なし発見を用いてMIT Indoor-67データセットで0.66の平均精度を達成し、標準的なビジュアルワード（0.54 AP）を顕著に上回った。
• 空間ピラミッドとGIST特徴量を組み合わせた場合、49.4%の精度に達し、MIT Indoor-67データセットで現在の最先端の性能となった。
• 人間による評価では、上位30のクラスタの73%が視覚的に純粋であったことが判明し、パッチが一貫性があり意味のある視覚的概念を捉えていることを示した。
• 交差検証を用いた反復的訓練は、非交差検証の訓練と比較してクラスタ純度を12%向上させた。これは正則化の重要性を示している。
• 本手法は、空間ピラミッドHOG（34.4%）、ObjectBank（37.6%）、シーン変形部分モデル（30.4%）といった既存のベースラインを、同じベンチマークで上回った。
• 上位パッチの可視化結果から、教会のアーチ、会議室のテーブル、店舗のカウンターといった、顕著でシーン固有のパターンが捉えられていることが確認され、直感的な解釈可能性が裏付けられた。