[論文レビュー] Unsupervised learning of clutter-resistant visual representations from natural videos

Qianli Liao, Joel Z. Leibo+1 more|arXiv (Cornell University)|Sep 12, 2014

Face recognition and analysis参考文献 33被引用数 4

ひとこと要約

この論文は、自然な動画からクラッターに強い視覚的表現を、ラベルなしで学習する生物学的にインspiredな教師なし学習フレームワークを提案する。時間的に近接する動画フレームの時間的関連付けを用いることで、ラベルなしのインターネット動画から直接抽出した大規模でクラス固有のフィルタ（テンプレート）を用い、スケールおよび変換の across で正規化されたドット積とマックスプーリングを適用することで、ラベルやアライメントなしでLFW（非制約的顔認識）ベンチマークで最先端の性能を達成し、クラッター、視点変化、画像変化に対して強い不変性を示した。

ABSTRACT

Populations of neurons in inferotemporal cortex (IT) maintain an explicit code for object identity that also tolerates transformations of object appearance e.g., position, scale, viewing angle [1, 2, 3]. Though the learning rules are not known, recent results [4, 5, 6] suggest the operation of an unsupervised temporal-association-based method e.g., Foldiak's trace rule [7]. Such methods exploit the temporal continuity of the visual world by assuming that visual experience over short timescales will tend to have invariant identity content. Thus, by associating representations of frames from nearby times, a representation that tolerates whatever transformations occurred in the video may be achieved. Many previous studies verified that such rules can work in simple situations without background clutter, but the presence of visual clutter has remained problematic for this approach. Here we show that temporal association based on large class-specific filters (templates) avoids the problem of clutter. Our system learns in an unsupervised way from natural videos gathered from the internet, and is able to perform a difficult unconstrained face recognition task on natural images: Labeled Faces in the Wild [8].

研究の動機と目的

• ラベルなしで、自然な動画から不変な視覚的表現を学習できる生物学的に妥当な教師なし学習手法の開発。
• 現実世界の設定で性能を妨げてきた、時間的関連付けに基づく教師なし学習における視覚的クラッターの課題への対処。
• 正規化されたドット積とプーリングに依存する単純な非パrametricなフォワードスタックが、非制約的顔認識のような複雑なビジョンベンチマークで競争力のある性能を達成できることの実証。
• 自然動画における時間的連続性が、背景のクラッターが存在する中でも、オブジェクトレベルの不変性を学習する強力なインダクティブバイアスとして機能することの検証。

提案手法

• モデルは、各層で入力特徴と学習済みテンプレート間の正規化されたドット積を計算し、その後プーリングを適用する階層的Hubel-Wiesel（HW）アーキテクチャを採用する。
• テンプレートはラベルなしの訓練データから直接抽出される——具体的には、時間的に隣接する動画フレームから抽出され、短い時間ウィンドウ内で不変なコンテンツを捉える「テンプレートブック」を形成する。
• システムは時間的連続性を活用し、固定時間ウィンドウτ内のフレームを関連付ける。これは、動きや視点の変化による外観変化がある中でも、オブジェクトの同一性が安定していると仮定する。
• 2段階の特徴抽出プロセスを用いる：まず、画像パッチからGaborおよびPCAを用いて低レベル特徴を抽出し、次にそれらを用いて高レベル表現のためのテンプレートを生成する。
• プーリングにはL-Pノルム（P ∈ [1, ∞]）を用い、P=1は平均プーリング、P→∞はマックスプーリングに対応する。これにより、空間的位置、スケール、平面内回転の across で柔軟な応答の集約が可能になる。
• 最終的な表現は、すべてのテンプレートおよび空間スケールにわたるプーリングによって得られ、変換に対して不変なオブジェクト同一性を符号化するコンactなシグネイチャーベクトルを生成する。

実験結果

リサーチクエスチョン

• RQ1 自然な動画における近接フレームの時間的関連付けを用いて、ラベルなしでクラッターに強い視覚的表現を学習できるか？
• RQ2 本物の動画データから抽出した大規模でクラス固有のテンプレートを用いることで、一般または合成テンプレートに比べて視覚的クラッターに対する耐性が向上するか？
• RQ3 正規化されたドット積とプーリングに依存する単純な非パrametricでフォワードスタックアーキテクチャが、非制約的顔認識のような挑戦的なベンチマークで競争力のある性能を達成できるか？
• RQ4 時間的連続性を通じて学習された変換不変性（例：回転、スケール、平行移動）は、顕著な検出やアライメントなしでも、実世界の認識を支えるのに十分か？

主な発見

• モデルはラベルなし、アライメントなしでLabeled Faces in the Wild（LFW）ベンチマークで競争力ある性能を達成し、自然な動画からの教師なし学習が、顔認識能力を強力に得られることを示した。
• システムは、完全な検出・アライメント・認識パイプラインを回避して、元のLFWデータセットのまま非制約的かつ非アライメントの画像から顔を直接認識できた。
• モデルは視覚的クラッターに対して高い耐性を示し、フレーム間で背景要因が著しく変化しても高い性能を維持した。
• 中間のL-Pノルム（例：P ≈ 2–4）を用いたプーリングが、平均プーリングやマックスプーリングを上回る性能を発揮し、感度と選択性のバランスが最適であることを示唆した。
• 合成またはランダムフィルタではなく、本物の動画データから抽出したテンプレートの使用が、クラッター環境下での不変性と性能を達成するために不可欠であった。
• 本手法は、224本のYouTube顔動画を用いた教師なし事前学習のみで、ラベル付きデータに対するファインチューニングなしに、当時においてLFWベンチマークで最先端の結果を達成した。