[論文レビュー] Learning visual biases from human imagination

Carl Vondrick, Hamed Pirsiavash+2 more|arXiv (Cornell University)|Oct 17, 2014

Advanced Image and Video Retrieval Techniques参考文献 36被引用数 14

ひとこと要約

本稿では、深層特徴空間にランダムノイズを生成し、クラウドソーシングを用いて人間が特定の物体（例：車）として認識するノイズパターンを同定することで、人間の視覚系から視覚的バイアスを学習する新規手法を提案する。得られた人間由来のテンプレートは、SVMにおける方向性の事前分布として用いられ、特にデータが少ない状況やドメインシフトが生じる状況において、物体認識性能を顕著に向上させる。これは、人間の知覚的バイアスが機械学習の一般化性能を向上させられることを示している。

ABSTRACT

Although the human visual system can recognize many concepts under challengingconditions, it still has some biases. In this paper, we investigate whether wecan extract these biases and transfer them into a machine recognition system.We introduce a novel method that, inspired by well-known tools in humanpsychophysics, estimates the biases that the human visual system might use forrecognition, but in computer vision feature spaces. Our experiments aresurprising, and suggest that classifiers from the human visual system can betransferred into a machine with some success. Since these classifiers seem tocapture favorable biases in the human visual system, we further present an SVMformulation that constrains the orientation of the SVM hyperplane to agree withthe bias from human visual system. Our results suggest that transferring thishuman bias into machines may help object recognition systems generalize acrossdatasets and perform better when very little training data is available.

研究の動機と目的

• 本稿の目的は、人間の視覚系に内在するバイアスが抽出され、機械視覚システムに転送可能かどうかを調査することである。
• データが少ない、またはドメインシフトが生じる状況における物体認識の一般化性能の低さという問題に取り組む。
• 深層特徴空間における人間の知覚的バイアスを学び、それを学習アルゴリズムに統合する手法を開発することである。
• データセット固有のバイアスではなく、人間らしいインダクティブバイアスを活用することで、データセット間の一般化性能を向上させることである。

提案手法

• 本手法は、深層特徴空間（例：CNN や HOG）において標準正規分布からサンプリングされたランダムノイズを入力として用い、視覚的特徴を模倣する。
• アマゾンのMechanical Turkを介したクラウドソーシング作業者が、これらのノイズサンプルを「車」または「非車両」と分類し、その「車」との平均反応を集計して人間が想像するテンプレートを形成する。
• 得られたテンプレートは、人間が中位レベルの視覚的特徴と物体カテゴリをどのように関連付けるかを表すバイアスベクトルとして解釈される。
• このバイアスベクトルは、修正されたSVMの定式化において方向性の事前分布として用いられ、意思決定ハイパーフレームが人間バイアスの方向に一致するように制約される。
• SVMは重みベクトルの方向に対する円錐制約を用いて訓練され、角度θ（30°に設定）によって定義される。これにより、分類器が人間バイアスに一致するが、大きさには制約を課さない。
• 本手法は、PASCAL VOC 2011およびCaltech-101でCNN特徴を用いて評価され、人間バイアス事前分布を用いるか否かで性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 ノイズにおける物体の想像から得られる人間の視覚的バイアスは、信頼性高く推定され、機械学習システムに転送可能か？
• RQ2 訓練データが少ない状況において、こうした人間由来のバイアスが物体認識性能をどの程度向上させるか？
• RQ3 人間の知覚的バイアスを組み込むことで、バイアスが相反するデータセット間での一般化性能が向上するか、特にその向上が顕著か？
• RQ4 標準SVMや人間バイアス単体と比較して、方向制約付きSVMの定式化は性能をどの程度向上させるか？

主な発見

• 訓練データを一切使用しない状況でも、人間が想像するテンプレートのみを用いることで、車両分類で平均適合率（AP）27.5％を達成し、ランダムチャンス（7.3％）を著しく上回った。
• 正例が1つのみの状況において、人間バイアス事前分布を用いたSVMは、車両分類でAP 37.8％を達成し、標準SVM（27.5％）よりも10.3％、人間バイアス単体よりも30.5％の向上を示した。
• データセット間評価において、SVMの方向を人間バイアスに制約することで、Caltech-101からPASCAL VOC 2011への一般化性能が、データが少ない状況で5％以上のAP向上を達成した。
• PASCAL VOC 2011のより多様なデータセットで学習し、Caltech-101でテストした場合でも、本手法は性能を向上させた。これは、データセットバイアスに対して強い耐性を示していることを示している。
• 方向制約付きSVMの定式化は、低次元および高次元の特徴空間の両方で有効であり、次元が高くなるほど制約が厳しくなる傾向を示した。
• 結果から、ノイズの想像によって推定された人間の視覚的バイアスは、コンピュータビジョンにおける一般化性能とデータ効率を向上させる強力なインダクティブバイアスとして機能しうることが示唆された。