[論文レビュー] When crowds hold privileges: Bayesian unsupervised representation learning with oracle constraints

Theofanis Karaletsos, Serge Belongie+1 more|arXiv (Cornell University)|Jan 1, 2015

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 6

ひとこと要約

本論文は、三つ組みベースの順序付けを通じて、クラウドソーシングされた類似性制約を生成モデルに統合するベイジアン非教師あり表現学習フレームワークを提案する。変分推論とオラクルに似た人間の知覚データを組み合わせることで、明示的なラベルなしに画像分類性能を著しく向上させ、クラウドアノテーションによる相対的類似性が意味的に意味のある表現を効果的に形成できることを示している。

ABSTRACT

Representation learning systems typically rely on massive amounts of labeled data in order to be trained effectively. Recently, high-dimensional parametric models like convolutional neural networks have succeeded in building rich representations using either compressive, reconstructive or supervised criteria. However, the semantic structure inherent in observations is oftentimes lost in the process. Human perception excels at understanding semantics but cannot always be expressed in terms of labels. Human-in-the-loop systems like crowdsourcing are often employed to generate similarity constraints using an implicit similarity function encoded in human perception. We propose to combine generative unsupervised feature learning with learning from similarity orderings in order to learn models which take advantage of privileged information coming from the crowd. We use a fast variational algorithm to learn the model on standard datasets and demonstrate applicability to two image datasets, where classification is drastically improved. We show how triplet-samples of the crowd can supplement labels as a source of information to shape latent spaces with rich semantic information.

研究の動機と目的

• 高容量のモデルが存在しても、非教師あり表現学習における意味的構造の損失を是正すること。
• クラウドソーシングなどの人間を含むシステムを活用し、類似性の順序付けを通じて暗黙の意味的知識を注入すること。
• 生成モデルにオラクルに似た制約を統合する、スケーラブルで高速な変分推論手法の開発。
• 三つ組みベースのクラウドフィードバックが、ラベルなしの優位情報として表現学習に強力に寄与できることを実証すること。

提案手法

• 本手法は、ラベルなしで生データから潜在表現を学ぶためにベイジアン生成モデルを用いる。
• クラウドソーシングされた判断から得られる三つ組みベースの類似性制約を、潜在空間におけるソフト制約として統合する。
• モデルの最適化に高速な変分推論アルゴリズムを用い、標準的な画像データセットでの効率的な学習を可能にする。
• 確率的目的関数を用いて、再構成誤差とクラウドソーシングされた相対的類似性好みの整合性を同時に最適化する。
• 人間がより類似すると判断したサンプル同士が、潜在空間内でより近づくように空間が形状付けられる。
• 本フレームワークは、クラウドフィードバックをオラクルに似た優位情報として扱い、表現学習をガイドする。

実験結果

リサーチクエスチョン

• RQ1 クラウドソーシングされた相対的類似性 judgments は、非教師あり表現の意味的質を向上させることができるか？
• RQ2 人間の知覚から得られる三つ組み制約は、ラベルなしの状況下で潜在空間の構造をどれほど効果的に形作れるか？
• RQ3 オラクルに似たフィードバックを統合することで、非教師あり学習における下流の分類性能はどの程度向上するか？
• RQ4 人間を含む制約を統合しながら、高速な変分推論アプローチは標準的な画像データセットにスケーラブルに適用可能か？

主な発見

• クラウドソーシングされた三つ組み制約の統合により、明示的なラベルなしでも画像分類性能が顕著に向上した。
• 類似性の順序付けに表現された人間の知覚と整合するように潜在空間を整えることで、より優れた表現品質が達成された。
• 変分推論の使用により、効率的な学習が可能となり、標準的な画像データセットへのスケーラビリティが確保された。
• モデルは、相対的類似性フィードバックが、表現学習をガイドする優位情報として効果的に機能できることを示した。
• 本手法は、人間の知覚から得られる暗黙の意味的知識を活用することで、標準的な非教師ありベースラインを上回った。
• 結果から、生成モデルが人間を含む類似性制約によってガイドされると、意味的構造が保持されるとともに強化されることを確認した。