[論文レビュー] The Supervised IBP: Neighbourhood Preserving Infinite Latent Feature Models

Novi Quadrianto, Viktoriia Sharmanska+2 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Image and Video Retrieval Techniques参考文献 35被引用数 8

ひとこと要約

この論文は、データの近傍構造を保持する無限個のバイナリ潜在特徴空間を推論する教師ありインディアン・バーベッジ過程（IBP）の変種を提案する。近傍構造を保つ原理と非パrametricな事前分布を組み合わせることで、リtrieバルのための最適なバイナリコードを動的に学習可能となり、固定長のコードや事前に指定された特徴量を必要とせずに効果的な最近傍検索を実現する。

ABSTRACT

We propose a probabilistic model to infer supervised latent variables in the Hamming space from observed data. Our model allows simultaneous inference of the number of binary latent variables, and their values. The latent variables preserve neighbourhood structure of the data in a sense that objects in the same semantic concept have similar latent values, and objects in different concepts have dissimilar latent values. We formulate the supervised infinite latent variable problem based on an intuitive principle of pulling objects together if they are of the same type, and pushing them apart if they are not. We then combine this principle with a flexible Indian Buffet Process prior on the latent variables. We show that the inferred supervised latent variables can be directly used to perform a nearest neighbour search for the purpose of retrieval. We introduce a new application of dynamically extending hash codes, and show how to effectively couple the structure of the hash codes with continuously growing structure of the neighbourhood preserving infinite latent feature space.

研究の動機と目的

• 観測データから無限個のバイナリ潜在特徴を推論する非パrametricな確率的モデルの開発。
• 類似したデータポイント（同じ意味的コンセプト）が類似した潜在コードを受けるようにし、相違するポイントは引き離されるようにすること。
• 推論された潜在変数をハミング空間における最近傍検索に直接利用可能にする。
• 潜在特徴空間の成長に伴い、ハッシュコードを動的に拡張すること。
• ハッシュコードの構造を無限で近傍構造を保つ潜在特徴モデルと結合すること。

提案手法

• モデルは、無限個のバイナリ潜在特徴を許容する教師ありインディアン・バーベッジ過程の事前分布を用いる。
• 同じクラスのデータポイントを引き寄せ、異なるクラスのポイントを引き離すことで、近傍構造の保持を強制する。
• 推論手法は、観測データとラベルに基づき、活性化されたバイナリ特徴の数とその値を同時に学習する。
• 潜在変数は、そのハミング距離が意味的類似性を反映するように構造化されている。
• 新しいデータが到着するにつれて、ハッシュコードの動的拡張が可能であり、進化する潜在空間と整合性を保つ。
• 近傍構造を保つ原則の下で、特徴選択とコード割り当てを同時に最適化する確率的フレームワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 教師あり設定下で、データの近傍構造を保つ無限個のバイナリ潜在特徴をどのように推論できるか？
• RQ2 ハッシュコードの構造を非パrametricかつ進化する潜在特徴空間と効果的に結合する方法は何か？
• RQ3 IBPのような非パrametric事前分布を、潜在コードの類似性を通じて意味的類似性を強制するために適応可能か？
• RQ4 新しいデータが導入される際、モデルはどのようにしてハッシュコード表現を動的に拡張できるか？
• RQ5 推論された潜在空間は、最近傍検索性能をどの程度向上させるか？

主な発見

• モデルは、事前に定義されたコード長を必要とせずに、無限個のバイナリ潜在特徴を効果的に推論できた。
• 推論された潜在コードは近傍構造を保持しており、類似したデータポイントがより類似したコードを持つことが確認された。
• モデルは、ハミング空間における最近傍検索に直接的に潜在コードを活用可能である。
• ハッシュコードの動的拡張は、進化する潜在特徴空間と整合性を保ったまま維持された。
• 固定長ハッシュ化ベースラインと比較して、競争力のあるリtrieバル性能を達成した。
• 潜在構造の段階的学習により、スケーラビリティと新規データへの適応性が示された。