[論文レビュー] Capturing human category representations by sampling in deep feature spaces

Joshua C. Peterson, Jordan W. Suchow+3 more|arXiv (Cornell University)|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用数 7

ひとこと要約

本論文は、生成モデルと人間のフィードバックを用いて、深層特徴空間における人間のカテゴリー表現を推定するための新規手法、MCMCP（人間を含むマルコフ連鎖モンテカルロ）を提案する。深層ニューラルネットワークの特徴空間と人間による誘導付きサンプリングを組み合わせることで、マルチモーダルで生態的妥当性を持つカテゴリー分布を捉え、実世界の画像において従来の分類画像よりも、知覚的質および分類精度の両面で優れた結果を得る。

ABSTRACT

Understanding how people represent categories is a core problem in cognitive science. Decades of research have yielded a variety of formal theories of categories, but validating them with naturalistic stimuli is difficult. The challenge is that human category representations cannot be directly observed and running informative experiments with naturalistic stimuli such as images requires a workable representation of these stimuli. Deep neural networks have recently been successful in solving a range of computer vision tasks and provide a way to compactly represent image features. Here, we introduce a method to estimate the structure of human categories that combines ideas from cognitive science and machine learning, blending human-based algorithms with state-of-the-art deep image generators. We provide qualitative and quantitative results as a proof-of-concept for the method's feasibility. Samples drawn from human distributions rival those from state-of-the-art generative models in quality and outperform alternative methods for estimating the structure of human categories.

研究の動機と目的

• 直接観察が不可能な複雑で自然主義的な画像空間における人間のカテゴリー表現を推定する課題に対処すること。
• マルチモーダルな分布を含む、人間のカテゴリーの完全な構造を捉えるスケーラブルで生態的妥当性のある方法を開発すること。
• 密度推定を可能にし、実世界の画像分類へのより良い一般化を実現するように、従来の分類画像を改善すること。
• 深層生成モデルと人間を含むサンプリングの進展を活用する柔軟なフレームワークを構築し、認知モデリングに応用すること。
• 将来的な機械学習および認知科学の研究を支援する、人間のカテゴライゼーションの真値ベンチマークを提供すること。

提案手法

• 本手法は、画像からコン pact で階層的な特徴表現を抽出するための深層畳み込みニューラルネットワーク（CNN）を用い、高次元の潜在空間を形成する。
• 低次元の潜在ベクトル z を高次元の画像サンプル x にマッピングするための事前学習済みの生成モデル（例：GAN や VAE）を用い、デコーダーネットワークを介して実現する。
• 人間を含むマルコフ連鎖モンテカルロ（MCMC）サンプリングループを実装する：各ステップで、現在の状態と提案された状態からの2つの画像サンプルが人間のレーティング者に提示される。
• レーティング者がバーカー受容関数に基づいて2つの画像のうちどちらを選ぶかを決定し、これが提案状態の受容を決定する。これにより、人間のカテゴリー分布の探索が可能になる。
• 得られた MCMC チェインは、深層特徴空間における真の人のカテゴリー分布に近似したサンプルを生成し、混合モデルによる密度推定が可能になる。
• この手法により、マルチモーダルなカテゴリーのテンプレートの可視化が可能となり、最近傍平均および最尤決定ルールの両方を用いた分類が可能になる。

実験結果

リサーチクエスチョン

• RQ1 深層特徴空間における人間を含むサンプリングが、人間のカテゴリー表現の完全なマルチモーダル構造を捉えられるか？
• RQ2 MCMCP の性能は、実世界の自然画像を分類する際、従来の分類画像と比較してどうなるか？
• RQ3 MCMCP のサンプルから導かれる密度推定は、ベースライン手法よりも分類精度を向上させるか？
• RQ4 MCMCP から得られる表現は、知覚的に意味のあるカテゴリー境界をどの程度反映しているか？
• RQ5 過度な試行回数を要せず、複雑で高次元の画像カテゴリーに対しても本手法はスケーラブルか？

主な発見

• MCMCP のサンプルは、画像品質において最先端の生成モデルに匹敵し、人間のカテゴリー構造を推定する点で代替手法を上回る。
• 本手法は、自然主義的刺激を用いて、自然画像カテゴリーのマルチモーダルなカテゴリーのテンプレートを成功裏に可視化した。これは、従来の手法では達成できなかった能力である。
• Flickr 画像における最近傍平均分類において、MCMCP に基づく密度推定は分類画像を上回り、平均正解率が 0.38 であったのに対し、CI は 0.30 であった。
• カテゴリー群 1 において、MCMCP の密度推定は平均分類正解率 0.37 を達成し、CI を用いた最近傍平均ルール（0.30）を顕著に上回った。
• カテゴリー群 2 において、MCMCP の最近傍平均分類は 0.42 の正解率を示し、CI（0.26）および MCMCP の密度推定（0.35）を上回った。
• フィッシャー線形判別分析の結果、MCMCP の表現は分類画像よりも分離度が高く、分類能の向上が示された。