[논문 리뷰] Semantic Analysis of (Reflectional) Visual Symmetry: A Human-Centred Computational Model for Declarative Explainability

Jakob Suchan, Mehul Bhatt외 3명|arXiv (Cornell University)|2018. 05. 31.

Image Retrieval and Classification Techniques참고 문헌 24인용 수 3

한 줄 요약

이 논문은 자연스러운 환경에서의 반사 대칭에 대한 의미론적 분석을 위한 인간 중심의 계산 모델을 제시한다. 지식 표현, 딥 러닝 기반의 시각 기반 기술, 그리고 정성적 추론을 통합하여 기술적이고 설명 가능한 해석을 가능하게 한다. 이 프레임워크는 대칭 인식을 위한 질의 가능한 관계 구조를 생성하며, 실증적 검증을 통해 인간의 지각적 판단과 강한 일치를 보여준다.

ABSTRACT

We present a computational model for the semantic interpretation of symmetry in naturalistic scenes. Key features include a human-centred representation, and a declarative, explainable interpretation model supporting deep semantic question-answering founded on an integration of methods in knowledge representation and deep learning based computer vision. In the backdrop of the visual arts, we showcase the framework's capability to generate human-centred, queryable, relational structures, also evaluating the framework with an empirical study on the human perception of visual symmetry. Our framework represents and is driven by the application of foundational, integrated Vision and Knowledge Representation and Reasoning methods for applications in the arts, and the psychological and social sciences.

연구 동기 및 목표

• 자연스러운 환경에서의 시각적 대칭에 대해 기술적이고 설명 가능한 해석이 가능한 계산 모델을 개발하는 것.
• 인간 지각에 기반한 의미 수준의 대칭 분석을 위해 비전과 지식 표현 방법을 통합하는 것.
• 시각 미디어 연구, 미학, 문화유산, 심리학 연구 분야에서 인간 중심의 응용을 지원하는 것.
• 정성적 사용자 연구와 대칭 자극의 지각 순위를 통한 모델의 인간 지각과의 일치도 평가하는 것.

제안 방법

• 모델은 시공간적 관계를 위한 딥 러닝 기반의 시각적 특징 추출과 상징적 지식 표현을 결합한다.
• 공간적, 특징 수준, 의미적 유사성의 혼합 정성적-정량적 표현을 사용하여 대칭을 기술적으로 기술한다.
• 관계적이고 온톨로지 기반의 구조는 공간 구성, 물체 유사성, 의미적 맥락을 바탕으로 대칭을 인코딩한다.
• 통합된 시각적 및 의미적 특징에 기반한 기술적 추론을 통해 질의 가능하고 설명 가능한 출력을 지원한다.
• 모듈식이며 확장 가능하여 새로운 시각 계산 원소와 유사성 측정 방법의 통합을 가능하게 한다.
• 실증적 검증은 온라인 설문 조사 방식을 통해 수행되며, 인간 참가자들이 정성적 구분을 사용해 대칭 지각을 순위 매긴다.

실험 결과

연구 질문

• RQ1 자연스러운 환경에서의 시각적 대칭은 인간의 지각과 추론과 일치하는 방식으로 의미론적으로 어떻게 해석될 수 있는가?
• RQ2 공간적 구성, 특징 유사성, 의미적 맥락은 인간의 반사 대칭 지각에서 어떤 역할을 하는가?
• RQ3 수학적 대칭에 의존하지 않고도 계산 모델이 기술적이고 설명 가능한 방식으로 대칭을 해석할 수 있는가?
• RQ4 모델의 출력이 예술적 및 영화적 이미지에서 인간의 대칭 지각 판단과 어느 정도 상관이 있는가?
• RQ5 이러한 모델은 이동하는 영상과 내러티브 미디어에서의 시공간적 대칭으로 어떻게 확장될 수 있는가?

주요 결과

• 모델은 의미의 깊이를 지닌 시각 자극에서의 반사 대칭을 인간 중심의 질의 가능하고 관계적인 구조로 성공적으로 생성한다.
• 실증적 평가 결과, 모델의 대칭 해석과 인간의 자극 순위 지각 간 강한 일치가 확인되었다.
• 공간적, 특징 수준, 의미적 유사성의 통합은 기하학적 대칭을 넘어서 대칭 지각을 설명하는 데 모델의 능력을 크게 향상시켰다.
• 문화유산, 시각 미디어 분석, 시각 지각 심리학 연구 분야에서의 적용 가능성을 입증하였다.
• 모델는 확장 가능하며 향후 영화 및 애니메이션에서의 시공간 대칭 분석과의 통합을 지원한다.