[論文レビュー] Semantic Analysis of (Reflectional) Visual Symmetry: A Human-Centred Computational Model for Declarative Explainability

Jakob Suchan, Mehul Bhatt+3 more|arXiv (Cornell University)|May 31, 2018

Image Retrieval and Classification Techniques参考文献 24被引用数 3

ひとこと要約

本稿では、自然的状況における反転対称性の意味的分析のための人間中心の計算モデルを提示する。知識表現、深層学習に基づくビジョン、定性的推論を統合し、記述的で説明可能な解釈を可能にする。フレームワークは、対称性認識のための照査可能で関係的な構造を生成し、実証的検証を通じて人間の知覚的判断と強い整合性を示す。

ABSTRACT

We present a computational model for the semantic interpretation of symmetry in naturalistic scenes. Key features include a human-centred representation, and a declarative, explainable interpretation model supporting deep semantic question-answering founded on an integration of methods in knowledge representation and deep learning based computer vision. In the backdrop of the visual arts, we showcase the framework's capability to generate human-centred, queryable, relational structures, also evaluating the framework with an empirical study on the human perception of visual symmetry. Our framework represents and is driven by the application of foundational, integrated Vision and Knowledge Representation and Reasoning methods for applications in the arts, and the psychological and social sciences.

研究の動機と目的

• 自然的状況における視覚的対称性の記述的で説明可能な解釈を可能にする計算モデルの開発。
• 人間の知覚に基づいた、対称性の意味的レベルでの分析を実現するため、ビジョンと知識表現手法の統合。
• 視覚メディア研究、美的感覚、文化的遺産、心理的研究における人間中心の応用を支援。
• 定性的ユーザースタディおよび対称性刺激の知覚的ランク付けを通じて、モデルの出力と人間の知覚的判断との整合性を評価。

提案手法

• 深層学習に基づく視覚的特徴抽出と記号的知識表現を組み合わせ、視覚的空間的関係を扱う。
• 空間的、特徴レベルおよび意味的類似性の混合定性的・定量的表現を用いて、対称性を記述的に特徴付ける。
• 関係的でオントロジー基盤の構造が、空間的構成、対象の類似性、意味的文脈の観点から対称性を符号化する。
• 統合された視覚的および意味的特徴に基づく記述的推論を通じて、照査可能で説明可能な出力を支援する。
• モジュール型かつ拡張可能であり、新しい視覚計算プリミティブおよび類似性測定法の統合を可能にする。
• 実証的検証として、オンラインアンケートを用い、被験者が定性的な差異を用いて対称性知覚をランク付けする。

実験結果

リサーチクエスチョン

• RQ1 自然的状況における視覚的対称性は、どのように人間の知覚と推論に整合する形で意味的に解釈可能か？
• RQ2 空間的構成、特徴類似性、意味的文脈は、人間の反転対称性知覚において果たす役割は何か？
• RQ3 計算モデルは、数学的対称性に依存せずに、どのように記述的で説明可能な対称性解釈を達成できるか？
• RQ4 モデルの出力は、芸術的および映像的画像における人間の対称性知覚的判断とどの程度相関するか？
• RQ5 このようなモデルは、動的画像および物語メディアにおける時空間的対称性にどのように拡張可能か？

主な発見

• モデルは、意味的深さを持つ視覚的刺激における反転対称性を、人間中心で照査可能で関係的な構造として成功して生成した。
• 実証的評価により、モデルの対称性解釈と人間の刺激に対する知覚的ランク付けとの間に強い整合性が示された。
• 空間的類似性、特徴レベル類似性、意味的類似性の統合は、幾何的対称性を超えた対称性知覚の説明能力を顕著に向上させた。
• フレームワークは、文化的遺産、視覚メディア分析、視覚知覚の心理的研究への応用可能性を示した。
• モデルは拡張可能であり、映画やアニメーションにおける時空間的対称性分析への将来的な統合を支援する。