[論文レビュー] Learning visual groups from co-occurrences in space and time

Phillip Isola, Daniel Zoran+2 more|arXiv (Cornell University)|Nov 21, 2015

Remote-Sensing Image Classification参考文献 37被引用数 80

ひとこと要約

この論文では、空間的または時間的文脈における共起性を予測することで、物体、映画シーン、場所のカテゴリといった視覚的グルーピングを自己教師付きで学習するフレームワークを提案する。視覚的プリミティブ（パッチ、フレーム、または写真）が空間的または時間的文脈で共起するかどうかを分類する深層ニューラルネットワークを用い、ラベルなしのデータから競争力のあるオブジェクト候補、正確な映画シーンセグメンテーション、意味的に意味のある写真クラスタリングを生成する。

ABSTRACT

We propose a self-supervised framework that learns to group visual entities based on their rate of co-occurrence in space and time. To model statistical dependencies between the entities, we set up a simple binary classification problem in which the goal is to predict if two visual primitives occur in the same spatial or temporal context. We apply this framework to three domains: learning patch affinities from spatial adjacency in images, learning frame affinities from temporal adjacency in videos, and learning photo affinities from geospatial proximity in image collections. We demonstrate that in each case the learned affinities uncover meaningful semantic groupings. From patch affinities we generate object proposals that are competitive with state-of-the-art supervised methods. From frame affinities we generate movie scene segmentations that correlate well with DVD chapter structure. Finally, from geospatial affinities we learn groups that relate well to semantic place categories.

研究の動機と目的

• ラベルなしの視覚的データにおける統計的共起パターンから、物体やシーンといった視覚的グルーピングが出現するかを調査すること。
• 人間によるアノテーションや手作業で設計された特徴量に依存しない自己教師付き手法を構築すること。
• 空間的・時間的共起性が、意味的な視覚的構造を発見する強力な教師信号として機能することを示すこと。
• 画像パッチのグルーピング、動画フレームのセグメンテーション、地理的写真クラスタリングという多様な分野において、本手法の有効性を評価すること。

提案手法

• 2つの視覚的プリミティブ（パッチ、フレーム、または写真）が同じ空間的または時間的文脈に共起するかどうかを予測するための深層ニューラルネットワークを訓練する。
• 2値分類問題として定式化する：2つの入力が空間的に（画像において）または時間的に（動画において）隣接している可能性を予測する。
• ネットワークが予測する共起確率を、視覚的要素間の類似度として用いる。
• ノードが視覚的プリミティブ、エッジが予測された共起類似度で重み付けされたグラフを構築する。
• 類似度重み付きグラフに対してスペクトルクラスタリングを適用し、一貫性のある視覚的グルーピングを発見する。
• ベースラインの類似度指標との公平な比較を保つために、ハイパーパrameter α を用いてエッジ重みをスケーリング・最適化する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータにおける共起統計から、物体やシーンといった視覚的グルーピングを学習できるか？
• RQ2 共起性の予測可能性に特化した判別モデルは、手作業特徴量や生成モデルに比べてグルーピングタスクで優れているか？
• RQ3 同じコア原則を用いて、画像パッチ、動画フレーム、地理的写真の3分野に一般化可能か？
• RQ4 クラスタリング品質と境界検出において、学習された類似度は従来の指標（例：色ヒストグラム、PMI）と比べてどうか？

主な発見

• 本手法は、1枚の画像あたり最大100個のオブジェクト候補を生成し、最先端の教師あり手法と同等の高い再現率を達成する。
• 映画セグメンテーションにおいて、本フレームワークはDVDチャプターバウンダリーを上回る精度でサブチャプターシーンを検出する。ベースラインの類似度指標に比べ、境界抽出タスクでも優れた性能を示す。
• 地理的写真クラスタリングに適用した場合、MIT Cityデータセットから事前学習した類似度を用いて、LabelMe Outdoorデータセットの8クラスクラスタリングで59%の純度を達成する。
• 2015年製MacBook Proで1枚の画像あたり約4秒で実行可能であり、実用的な効率性を示している。
• 学習された類似度を用いたスペクトルクラスタリングは、境界検出タスクにおいて、色ヒストグラム類似度などのベースライン指標を常に上回る性能を発揮する。
• 本フレームワークはドメインを跨いで一般化可能である：同じ共起性の原則を用いて、画像、動画、写真コレクションにおいても意味的なグルーピングを効果的に抽出できる。