[논문 리뷰] DALL-E 2 Fails to Reliably Capture Common Syntactic Processes

Evelina Leivada, Elliot Murphy외 1명|arXiv (Cornell University)|2022. 10. 23.

Natural Language Processing Techniques인용 수 12

한 줄 요약

이 논문은 자연어 프롬프트의 문법적 구조를 이해하는 데 있어 DALL-E 2의 능력을 평가하며, 피동어, 부정, 생략 등 여덟 가지 핵심 문법 현상과 같은 구조를 테스트한다. 고급 언어 이해 능력이 있다고 주장함에도 불구하고, DALL-E 2는 문법적 의미와 일관된 이미지를 일관되게 생성하지 못하며, 구성적 일반화와 의미 추론의 근본적인 한계를 드러낸다.

ABSTRACT

Machine intelligence is increasingly being linked to claims about sentience, language processing, and an ability to comprehend and transform natural language into a range of stimuli. We systematically analyze the ability of DALL-E 2 to capture 8 grammatical phenomena pertaining to compositionality that are widely discussed in linguistics and pervasive in human language: binding principles and coreference, passives, word order, coordination, comparatives, negation, ellipsis, and structural ambiguity. Whereas young children routinely master these phenomena, learning systematic mappings between syntax and semantics, DALL-E 2 is unable to reliably infer meanings that are consistent with the syntax. These results challenge recent claims concerning the capacity of such systems to understand of human language. We make available the full set of test materials as a benchmark for future testing.

연구 동기 및 목표

• 자연어 프롬프트의 문법적 구조에서 의미 해석을 신뢰성 있게 유추할 수 있는지 DALL-E 2의 능력을 평가하는 것.
• 일상적인 언어 현상 전반에 걸쳐 문법과 의미 사이의 체계적 대응, 즉 구성성(compositionality)을 모델이 포착하는지 조사하는 것.
• 최근 시각-언어 모델이 DALL-E 2처럼 인간 수준의 언어 이해나 이해 능력을 보인다는 주장에 도전하는 것.
• 향후 다중모odal 모델에서의 구성적 일반화 평가를 위한 벤치마크를 수립하는 것.
• 모델 아키텍처와 훈련 방식의 근본적 한계를 드러내는 체계적인 문법적 해석 실패를 특정하는 것.

제안 방법

• 형식어학에서 유래한 8가지 문법 현상(결합/공지사, 피동어, 어순, 조인, 비교급, 부정, 생략, 구조적 모호성)으로 구성된 통제된 테스트 세트를 설계하고 시행한다.
• 의미적 내용을 유지하면서 문법적 구조만 변화된 정교하게 구성된 프롬프트를 사용해 DALL-E 2에서 이미지를 생성한다.
• 인간이 애너테이션한 정확도 기준에 따라 이미지 출력 결과를 평가한다.
• 모든 테스트 케이스에서 일관성과 재현 가능성을 확보하기 위해 표준화된 평가 프로토콜을 사용한다.
• 각 문법 범주 간 성능를 비교하여 체계적인 실패 패tern을 식별한다.
• 향후 연구를 위해 전체 테스트 세트를 공개 벤치마크로 배포한다.

실험 결과

연구 질문

• RQ1 DALL-E 2는 문법적으로 복잡한 프롬프트의 정확한 의미 해석을 반영하는 이미지를 일관되게 생성할 수 있는가?
• RQ2 DALL-E 2는 피동어나 부정과 같은 핵심 문법 현상에 대해 구성적 일반화를 보여주는가?
• RQ3 생략이나 구조적 모호성과 같은 특정 언어적 구조에서의 문법적 해석 실패는 어떻게 관련이 있는가?
• RQ4 DALL-E 2의 이미지 생성 결과는 문법-의미 맵핑을 진정으로 이해하고 있는가?
• RQ5 모델의 성능는 아키텍처나 훈련 방식의 수정을 통해 체계적으로 향상시킬 수 있는가?

주요 결과

• DALL-E 2는 피동어를 포함한 프롬프트의 문법적 구조와 일관된 이미지를 일관되게 생성하지 못하며, 이로 인해 주어-목적어 역할이 잘못 설정된다.
• 모델은 부정을 자주 잘못 해석하여, 부정된 동작을 그린다기보다는 그 부정의 부재를 표현하지 못한다.
• 생략 작업에서는 자주 올바른 전행어를 유추하지 못해 관련이 없거나 잘못된 요소가 포함된 이미지를 생성한다.
• 구조적 모호성의 경우 DALL-E 2는 어느 한 의미 해석에도 일관된 선호도를 보이지 않으며, 이는 문법적 분석 능력의 부족을 시사한다.
• 여덟 가지 문법 현상 전반에 걸쳐 성능가 인간 수준의 정확도 이하이며, 어느 하나의 범주도 일관된 신뢰성을 확보하지 못한다.
• 모델의 실패는 체계적이고 예측 가능하며, 이는 임의의 오류가 아니라 구성적 일반화의 근본적 부족을 시사한다.