[論文レビュー] Optical Illusions Images Dataset

Robert Max Williams, Roman V. Yampolskiy|arXiv (Cornell University)|Sep 30, 2018

Advanced Vision and Imaging参考文献 3被引用数 8

ひとこと要約

本論文は、2つの主要なウェブサイトから収集した6,725枚の視覚的錯覚画像に加え、手作業で選別された500枚の明確な視覚的効果を持つ画像を含むデータセットを紹介し、コンピュータビジョンおよび人間の知覚分野における研究を進める。研究では、転移学習分類器がランダムより優れた性能を示す一方で、標準的なGANは意味のある錯覚を生成できないことが判明し、人間の視覚処理のより深いモデルの必要性が浮き彫りになった。

ABSTRACT

Human vision is capable of performing many tasks not optimized for in its long evolution. Reading text and identifying artificial objects such as road signs are both tasks that mammalian brains never encountered in the wild but are very easy for us to perform. However, humans have discovered many very specific tricks that cause us to misjudge color, size, alignment and movement of what we are looking at. A better understanding of these phenomenon could reveal insights into how human perception achieves these feats. In this paper we present a dataset of 6725 illusion images gathered from two websites, and a smaller dataset of 500 hand-picked images. We will discuss the process of collecting this data, models trained on it, and the work that needs to be done to make it of value to computer vision researchers.

研究の動機と目的

• コンピュータビジョンおよび知覚研究に用いるため、静的視覚的錯覚画像の包括的かつ公開可能なデータセットを構築すること。
• 既存の機械学習モデルが、さまざまなタイプの視覚的錯覚を認識し、一般化できるかどうかを評価すること。
• GANのような現在の生成モデルが、人間らしい新しい錯覚を学習して生成できる限界を調査すること。
• 人工系が人間の視覚認識と類似した方法で錯覚を認識できるように訓練できるかどうかを検討すること。
• 現在の深層学習アプローチにおける人間の視覚的錯覚をモデル化する際のギャップを特定し、今後の研究方向を提案すること。

提案手法

• ウェブスクリーパーを用いて、Mighty Optical Illusionsから6,436枚、ViperLibから1,454枚の画像を収集し、カテゴリーやページタイトルなどのメタデータを保持した。
• 焦点を当てた分析に適した、強い明確な視覚的効果を持つ500枚の手作業で選別された画像のサブセットを構築した。
• より大きな一般画像データセットからの特徴を活用し、事前学習済みの「ボトルネック」モデルを特定の錯覚カテゴリに微調整することで、転移学習分類器を訓練した。
• ハイパーハイパーパラメータのチューニングをせず、ランダムなノイズベクトルを入力として、標準的なトレーニングパイプラインを用いて、HyperGANを用いて部分データセット上でGANをトレーニングした。
• 分類および生成品質の評価のために、混同行列とトレーニング進行の可視化を用いてモデルのパフォーマンスを評価した。
• 人間のフィードバックを組み込むアプローチや、人間の視覚の代理となるプロキシを用いた学習を含め、今後のアプローチを提案した。

実験結果

リサーチクエスチョン

• RQ1 一般画像特徴に基づいてトレーニングされたディープラーニング分類器は、異なるタイプの視覚的錯覚を区別できるか？
• RQ2 標準的なGANアーキテクチャは、静的画像の限定的なデータセットから、新しいかつ説得力のある視覚的錯覚をどれほど生成できるか？
• RQ3 視覚的に顕著な画像のデータセットでトレーニングされているにもかかわらず、なぜ標準的な生成モデルは意味のある錯覚を生成できないのか？
• RQ4 人間のフィードバックや人間の視覚のプロキシは、人工系が錯覚の生成や認識を学習するのをどのように支援するのか？
• RQ5 視覚的錯覚の構造的および知覚的特性は、現在の深層生成モデルへの適用にどのような制限をもたらすのか？

主な発見

• 転移学習分類器は、ランダムより顕著に優れた性能を示し、錯覚の種類を区別できることを示し、錯覚の視覚的特徴がディープニューラルネットワークで検出可能であることを示した。
• 分類器の混同行列は、予測が意味のあるクラスタリングを示しており、モデルが特定の視覚パターンと錯覚タイプを関連づけたことを示唆している。
• データセットの一部でトレーニングしたGANは、7時間のトレーニング後も、一貫性や多様性に欠ける画像を生成し、認識可能な錯覚効果を示さなかった。
• GANのトレーニング進行状況から、出力の多様性が著しく欠如しており、標準的なトレーニングパイプラインを用いても、モード崩壊や最適化の不全が顕在していることが示された。
• GANが錯覚を生成できないことは、現在の生成モデルが人間の視覚的錯覚の背後にある知覚的原則を理解していないことを示している。
• データセットの小さなサイズと、おそらく数10種類程度の限定的な錯覚タイプの多様性は、効果的な生成モデルをトレーニングする上で大きな課題をもたらしている。