[논문 리뷰] What is not where: the challenge of integrating spatial representations into deep learning architectures

John D. Kelleher, Simon Dobnik|arXiv (Cornell University)|2018. 07. 21.

Multimodal Machine Learning Applications참고 문헌 38인용 수 8

한 줄 요약

이 논문은 현재의 딥러닝 이미지 캡션 생성 모델들이 강력한 공간 전치사 생성 성능에도 불구하고, 공간 언어를 시각적 기하학에 고정시키지 못한다는 점을 비판한다. 모델들은 명사의 공출현 패턴에 기반해 전치사를 예측하기 위해 분포어법 언어 모델에 의존하지만, 명시적인 기하학적 추론 능력을 갖추지 못해, 그림에 '무엇이' 있는지만 포착할 뿐 '어디에' 객체가 있는지는 파악하지 못한다.

ABSTRACT

This paper examines to what degree current deep learning architectures for image caption generation capture spatial language. On the basis of the evaluation of examples of generated captions from the literature we argue that systems capture what objects are in the image data but not where these objects are located: the captions generated by these systems are the output of a language model conditioned on the output of an object detector that cannot capture fine-grained location information. Although language models provide useful knowledge for image captions, we argue that deep learning image captioning architectures should also model geometric relations between objects.

연구 동기 및 목표

• 현재의 딥러닝 이미지 캡션 생성 아키텍처가 시각 인식에 공간 언어를 효과적으로 고정시키는지 조사하기.
• 기존의 인코더-디코더 CNN-RNN 아키텍처가 객체 간 기하관계를 포착하는 데에 한계가 있는지 분석하기.
• 생성된 캡션의 공간 전치사가 실제 기하학적 추론에 기반하는지 아니면 통계적 공출현 패턴에 기반하는지 평가하기.
• 시각-언어 모델에서 객체 정체성의 의미적 고정과 공간 위치의 고정 사이의 격차를 규명하기.
• 기하학적 표현을 딥러닝 아키텍처에 통합하여 이미지 캡션의 공간 추론 능력을 향상시키기 위한 향후 방향 제시하기.

제안 방법

• 최신 모델들이 생성한 이미지 캡션을 평가하여 공간 언어의 정확성과 고정 정도를 분석하기.
• RNN 언어 모델이 훈련 데이터 코퍼스에서 명사와 전치사의 공출현 패턴에 기반해 공간 전치사를 예측하는 데서 수행하는 역할 분석하기.
• CNN의 객체 탐지 출력을 언어 모델의 주요 입력으로 사용하지만, 공간 국소화 정확도가 제한됨을 고려하기.
• 분포어법 의미론을 활용해, 기하학적 인식 없이도 언어 모델이 객체 간 기능적 관계를 간접적으로 포착하는 방식 분석하기.
• 공간 기술의 언어 패턴을 실제 그림의 공간 구성과 비교하여 고정 정확도 평가하기.
• 신경망의 모ularity(예: Andreas et al. 2016; Johnson et al. 2017)를 기하학적 추론 통합을 위한 잠재적 길로 탐색하기.

실험 결과

연구 질문

• RQ1 현재의 딥러닝 이미지 캡션 생성 모델들이 그림 내 객체의 공간 위치를 어느 정도 정확히 포착하는가?
• RQ2 언어 모델이 명시적인 기하학적 추론 없이 공간 전치사를 어떻게 생성하는가?
• RQ3 세부적인 공간 국소화 능력이 없음에도 불구하고 모델이 유사한 공간 기술을 생성하는 이유는 무엇인가?
• RQ4 코퍼스 내 단어의 공출현이 공간 언어 생성의 성공에 어떤 역할을 하는가?
• RQ5 기하학적 표현을 기존의 딥러닝 아키텍처에 효과적으로 통합할 수 있는가?

주요 결과

• 현재의 이미지 캡션 생성 모델들은 통계적으로 타당한 공간 기술을 생성하지만, 실제 기하학적 공간에 기반하지는 않는다.
• 모델들은 명사의 공출현에 기반해 전치사를 예측하기 위해 분포어법 언어 모델에 의존하지만, 시각적 공간 추론에 기반하지는 않는다.
• '왼쪽에 있는'이나 '뒤에 있는'과 같은 공간 전치사는 객체의 기하학적 구성이 아니라 통계적 가능성에 기반해 생성된다.
• CNN 구성 요소는 객체를 탐지하지만, 정확한 공간 기술을 위해 필요한 세밀한 공간 관계를 유지하지 못한다.
• 기하학적 인식이 없음에도 불구하고, 언어 모델의 강력한 분포어법 사전 지식 덕분에 모델은 높은 성능을 달성한다.
• CNN가 포착하는 객체 정체성 고정과 현재 아키텍처가 포착하지 못하는 공간 위치 고정 사이에 근본적인 괴리가 존재한다.