[論文レビュー] Active Perceptual Similarity Modeling with Auxiliary Information

Eric Heim, Matthew Berger+2 more|arXiv (Cornell University)|Nov 6, 2015

Machine Learning and Algorithms参考文献 19被引用数 8

ひとこと要約

本稿では、補助特徴（例：ディープ画像埋め込み）と三つ組比較を統合して、正確なオブジェクト類似度埋め込みを学習する、知覚的類似度モデリングのための確率的アクティブラーニングフレームワークTACKLを提案する。情報性の高い三つ組を能動的に選択することで、特徴ベースおよび非パrametric成分の両方を改善し、従来の最先端手法と同等またはそれ以上の性能を達成しながら、はるかに少ないクエリ数で実現した。これは、Zapposの靴から得られた296,310件の人的アノテーション付き三つ組応答を含む、新規で公開可能なデータセットを用いて実証された。

ABSTRACT

Learning a model of perceptual similarity from a collection of objects is a fundamental task in machine learning underlying numerous applications. A common way to learn such a model is from relative comparisons in the form of triplets: responses to queries of the form "Is object a more similar to b than it is to c?". If no consideration is made in the determination of which queries to ask, existing similarity learning methods can require a prohibitively large number of responses. In this work, we consider the problem of actively learning from triplets -finding which queries are most useful for learning. Different from previous active triplet learning approaches, we incorporate auxiliary information into our similarity model and introduce an active learning scheme to find queries that are informative for quickly learning both the relevant aspects of auxiliary data and the directly-learned similarity components. Compared to prior approaches, we show that we can learn just as effectively with much fewer queries. For evaluation, we introduce a new dataset of exhaustive triplet comparisons obtained from humans and demonstrate improved performance for different types of auxiliary information.

研究の動機と目的

• 知覚的類似度モデルを学習するために必要な人的アノテーション付き三つ組クエリの数を削減すること。
• 補助情報（例：ディープ特徴）を類似度モデリングに統合し、サンプル効率を向上させること。
• パラメトリックおよび非パラメトリック成分の両方の最適化を同時に実行するアクティブラーニング戦略を開発すること。
• 公平なベンチマーク評価のため、新規で包括的な人的アノテーション付き三つ組データセットを評価対象とすること。
• 補助特徴を用いたアクティブ選択が、収束速度の向上および高い精度を達成することを示すこと。

提案手法

• TACKLは、パラメトリック成分（補助特徴の重み付き組み合わせ）と非パラメトリック成分（三つ組応答から学習）の組み合わせによる確率的埋め込みとして、オブジェクト類似度をモデル化する。
• 尤度に基づく確率的定式化を用いて、三つ組応答が正しい確率をモデル化し、情報理論的クエリ選択を可能にする。
• 期待情報量の最大化を用いてクエリ選択を実施し、パラメトリックおよび非パラメトリック成分の両方における不確実性を低減する三つ組を優先的に選ぶ。
• モデルは反復的に訓練され、各バッチの応答後に埋め込みおよび特徴重みが更新される。
• 厳密な評価を可能にするために、85枚のZappos靴画像から得られた296,310件の人的アノテーション付き三つ組応答を収集した新規データセットを構築した。
• 視覚化および効率的な計算のため、補助特徴を三次元にまで主成分分析を用いて次元削減した。

実験結果

リサーチクエスチョン

• RQ1 アクティブな三つ組クエリ選択は、類似度モデルの精度を維持したまま、人的応答の必要数を顕著に削減できるか？
• RQ2 補助特徴（例：ディープ画像埋め込み）を統合することで、知覚的類似度学習のサンプル効率はどのように向上するか？
• RQ3 パラメトリックおよび非パラメトリック成分を同時に最適化するアクティブラーニングは、ランダムなクエリ選択に比べてどの程度優れているか？
• RQ4 確率的フレームワークは、補助データからの学習と直接的な三つ組フィードバックの両方を効果的にバランスさせられるか？
• RQ5 初期フィードバックが最小限の状況下（コールドスタート）において、モデルはどの程度の性能を示すか？

主な発見

• 30ラウンド後、TACKLは平均クエリ誤差0.3882を達成し、単独でImageNetの全特徴を用いて学習したモデルと同等またはそれ以上の性能を示した。
• ランダム選択と比較して、クエリ数を最大80％まで削減しながら、同等の精度を維持した。
• A-TACKLは、補助特徴の有効活用のおかげで、A-CKLよりも誤差および尤度指標の両面で優れており、特に初期ラウンドで顕著な差が見られた。
• 30件の応答後、A-TACKLはすべての正しい応答において、オブジェクトaとcの距離がaとbの距離の2倍以上になるように保証した。これは、モデルのキャリブレーションが良好であることを示している。
• ラベルノイズに対して高いロバストネスを示し、3名のアノテータが全員一致した三つ組は82％にのぼった。
• 30ラウンド後のA-TACKLによる埋め込みは、2次元投影において意味的なクラスタリングを示しており、知覚的類似度構造を的確に捉えていることが確認された。