[論文レビュー] Dream Formulations and Deep Neural Networks: Humanistic Themes in the Iconology of the Machine-Learned Image

Emily L. Spratt|arXiv (Cornell University)|Jan 1, 2017

Aesthetic Perception and Analysis被引用数 11

ひとこと要約

本論文は、DeepDream や Grad-CAM のようなディープラーニング画像認識システムが、エーリヒ・パノフスキーのアイコンォロジーおよびエレノア・ロシュのプロトタイプ理論を含む人文学的視覚認識理論と解釈的類似性を示すと提唱する。機械学習による画像特徴と人間の知覚フレームワークを比較することで、研究は、芸術史的および認知心理学的モデルに類似した構造的・階層的な視覚理解が、AIビジョンシステムに暗黙的に組み込まれていることを示し、今後のAI解釈のための学際的協働の必要性を主張する。

ABSTRACT

This paper addresses the interpretability of deep learning-enabled image recognition processes in computer vision science in relation to theories in art history and cognitive psychology on the vision-related perceptual capabilities of humans. Examination of what is determinable about the machine-learned image in comparison to humanistic theories of visual perception, particularly in regard to art historian Erwin Panofsky’s methodology for image analysis and psychologist Eleanor Rosch’s theory of graded categorization according to prototypes, finds that there are surprising similarities between the two that suggest that researchers in the arts and the sciences would have much to benefit from closer collaborations. Utilizing the examples of Google’s DeepDream and the Machine Learning and Perception Lab at Georgia Tech’s Grad-CAM: Gradient-weighted Class Activation Mapping programs, this study suggests that a revival of art historical research in iconography and formalism in the age of AI is essential for shaping the future navigation and interpretation of all machine-learned images, given the rapid developments in image recognition technologies.

研究の動機と目的

• コンピュータビジョン分野のディープニューラルネットワークが、人文学的視覚認識理論に見られる解釈枠組みを反映しているかどうかを調査すること。
• 芸術史的アイコンォロジーと認知心理学の視点から、機械学習による画像の解釈可能性を評価すること。
• AIが生成する画像特徴と人間の知覚的カテゴライゼーションプロセスとの間の構造的および概念的類似性を特定すること。
• AIビジョンシステムの開発および解釈における、芸術史的および形式主義的手法の再統合を提唱すること。
• アイコンォロジーと形式主義を、急速に進化する画像認識技術の解釈的課題を乗り越えるための不可欠なツールとして位置づけること。

提案手法

• グーグルのDeepDreamおよびジョージア工科大学のGrad-CAMを、ディープニューラルネットワークによる画像生成およびアクティベーションマッピングの事例として分析する。
• エーリヒ・パノフスキーの三段階アイコンォロジカル分析（前アイコン的、アイコン的、アイコン的論理的解釈）を適用し、機械学習による画像特徴を解釈する。
• ニューラルネットワークにおける視覚的特徴の階層的構造を、エレノア・ロシュのプロトタイプに基づく段階的カテゴライゼーション理論と比較する。
• Grad-CAMにおけるサリエンシー・マップおよび特徴マップが、人間の視覚的注意とカテゴライゼーションに類似した知覚的顕著性を反映しているかを検討する。
• 機械学習による画像表現と人文学的解釈フレームワークとの間の定性的比較を通じて、概念的重複を同定する。
• 芸術史的および認知心理学的手法の観点から、AIが生成する画像の解釈フレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 ディープニューラルネットワークが画像認識システムで学習する特徴表現が、人文学的視覚認識モデルとどの程度一致するか。
• RQ2 DeepDream および Grad-CAM の解釈的構造は、芸術史的アイコンォロジーや形式主義の原則をどの程度反映しているか。
• RQ3 ニューラルネットワークにおけるサリエンシーおよびアクティベーションパターンは、ロシュが述べるプロトタイプベースのカテゴライゼーションの認知プロセスをどの程度模倣しているか。
• RQ4 これらの類似性が、AIビジョンシステムの解釈可能性および透明性の向上にどのような意味を持つのか。
• RQ5 芸術史的および認知心理学的理論は、将来の機械学習画像システムの設計および解釈にどのように寄与できるか。

主な発見

• ディープニューラルネットワークにおける階層的特徴抽象化は、パノフスキーの三段階アイコンォロジカル分析に類似しており、AIシステムが暗黙的に段階的な画像解釈を実行していることを示唆する。
• Grad-CAMが生成するサリエンシー・マップは、空間的注意パターンを示し、認知心理学における人間の視覚的集中と類似している。
• ロシュの理論におけるプロトタイプベースのカテゴライゼーションは、ニューラルネットワークが画像データ内で中心的で代表的なパターンを中心に特徴をクラスタリングする方法と一致する。
• 本研究は、機械学習による画像表現と人文学的解釈フレームワークとの間に概念的類似性を同定し、視覚理解における共通の構造的原則を示している。
• これらの類似性は、芸術史的および形式主義的手法をAI研究に統合することで、機械学習による画像出力の解釈可能性を高め、曖昧性を低減できる可能性を示唆する。
• 研究の結果は、コンピュータサイエンスと人文学の間の学際的協働を推進する必要性を主張しており、AIビジョン技術の倫理的かつ意味のある発展を導くものである。