[논문 리뷰] Language Tasks and Language Games: On Methodology in Current Natural Language Processing Research

David Schlangen|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 40인용 수 20

한 줄 요약

이 논문은 자연어 처리 연구에서의 현재 방법론을 비판하며, 언어 작업, 마이크로월드, 대화 게임을 구분함으로써 일반 언어 능력을 모델링하기 위해 인지 능력에 명시적인 기반을 두어야 한다고 주장한다. 언어학과 인지심리학의 통찰을 활용해 새로운 작업과 데이터셋에 대한 더 명확한 이론적 프레임워크를 제안함으로써, 표면적인 성능 향상 이상의 근본적인 언어 이해의 진전을 보장하고자 한다.

ABSTRACT

"This paper introduces a new task and a new dataset", "we improve the state of the art in X by Y" -- it is rare to find a current natural language processing paper (or AI paper more generally) that does not contain such statements. What is mostly left implicit, however, is the assumption that this necessarily constitutes progress, and what it constitutes progress towards. Here, we make more precise the normally impressionistically used notions of language task and language game and ask how a research programme built on these might make progress towards the goal of modelling general language competence.

연구 동기 및 목표

• NLP 연구에서 새로운 언어 작업과 데이터셋을 도입할 때의 암묵적 가정을 명확히 하기 위해.
• 언어 작업, 마이크로월드, 대화 게임이라는 개념을 서로 다른 연구 대상으로서 명확히 하고 형식화하기 위해.
• NLP의 진전이 성능 지표뿐 아니라 핵심 언어 능력 모델링에 기여하는지 평가되어야 한다고 주장하기 위해.
• 언어 능력에 대한 이론적 주장이 명확하고 논쟁 가능하도록 하기 위해 언어학과 인지심리학과의 더 강력한 통합을 촉진하기 위해.
• 구성성 또는 참조 해소와 같은 특정 인지 능력과의 관련성에 기반해 새로운 작업과 데이터셋을 평가할 수 있는 프레임워크를 제공하기 위해.

제안 방법

• 입력 공간과 출력 공간 사이의 사상으로서 언어 작업을 정의하며, 이 중 적어도 하나는 자연어를 포함한다. 이는 의도적 정의(예: '번역')와 외연적 정의(입력-출력 쌍의 데이터셋)를 모두 포함한다.
• 행위에 대해 중립적인 반응을 생성하는 시뮬레이션 환경으로서의 '마이크로월드'를 도입하여, 상황적이고 반복적인 언어 사용을 연구할 수 있도록 한다.
• 규칙에 의해 규제되고 관찰 가능하며 반응적인 환경을 포함하는 반복적이고 구조화된 상호작용으로서의 '대화 게임'을 형식화한다.
• 모델의 평가가 작업 성능뿐 아니라, 문법적 구조나 구성적 추론과 같은 이론적으로 의미 있는 구조를 내부적으로 내재하고 있는지 여부를 고려해야 한다고 제안한다.
• 새로운 데이터셋과 작업을 인지 능력에 기반시킬 수 있도록 '데이터 시트'와 명시적인 이론적 정당성을 사용할 것을 권고한다.
• 역사적 사례(예: 시각적 질의 응답 및 형태 데이터셋)를 활용하여, 구성성과 같은 특정 능력에 초점을 맞춤으로써 작업 설계를 어떻게 개선할 수 있는지 보여준다.

실험 결과

연구 질문

• RQ1 NLP 연구에서 언어 작업은 대화 게임이나 마이크로월드와 무엇이 다른가?
• RQ2 핵심 언어 능력 모델링에 기여하지 않는다면, 새로운 데이터셋과 작업의 도입은 어떻게 정당화될 수 있는가?
• RQ3 현재 평가 관행은 일반 언어 능력 향상에 대한 진정한 진전을 어떻게 은폐하고 있는가?
• RQ4 왜 새로운 NLP 작업과 데이터셋을 언어학 및 인지심리학의 이론적 구조에 기반시켜야 하는가?
• RQ5 모델은 성능 외에도 내부 표현 구조와 인지 메커니즘과의 일치성에 대해 어떻게 평가될 수 있는가?

주요 결과

• 논문은 NLP 연구에서 반복적으로 나타나는 방법론적 결함을 밝혀내며, 새로운 작업이나 데이터셋을 도입하는 것이 본질적으로 진전을 이룬다는 가정이, 핵심 언어 능력 측면에서 명시적인 정당성이 없이 이루어진다는 점을 지적한다.
• 비디오 질의 응답과 같은 널리 사용되는 많은 데이터셋이 '언어 편향'을 앓고 있음을 입증한다—즉, 시각적 입력 없이도 모델이 성공할 수 있다는 점으로, 더 대표성 있는 데이터가 필요함을 시사한다.
• Andreas 등(2016)이 제안한 형태 데이터셋은 프로그래밍적으로 생성된 질문과 복잡한 공간 관계를 통해 구성적 추론 능력을 명시적으로 목표로 삼는 바람직한 접근의 예시이다.
• 논문은 자연 이미지 기반 데이터셋보다 합성 데이터셋이 특정 인지 능력 탐색에 더 타당할 수 있음을 보여주며, 자연 이미지 기반 데이터셋은 의도치 않은 편향을 유발할 수 있음을 지적한다.
• 모델이 학습된 작업을 분석할 때 내부 구조(예: 문법 트리 형성 여부)를 점검해야 하며, 이는 구성성과 같은 이론적 구조의 존재 여부를 입증하는 데 기여한다.
• 논문은 언어 능력에 대한 주장이 명확하고 논쟁 가능하며 누적 가능한 데에는 언어학과 인지심리학의 구조적 개념을 더 강력하게 기반시켜야 한다고 결론 내린다.