[논문 리뷰] Construction Grammar Provides Unique Insight into Neural Language Models

Leonie Weissweiler, Taiqi He외 4명|arXiv (Cornell University)|2023. 02. 04.

Natural Language Processing Techniques인용 수 10

한 줄 요약

본 논문은 구성 문법(CxG)을 활용해 대규모 사전 학습 언어 모델을 탐색하고, 현재의 프로빙 방법들을 검토하며, CxG 전용 평가 및 데이터 자원 개발의 도전 과제와 향후 방향을 제시한다.

ABSTRACT

Construction Grammar (CxG) has recently been used as the basis for probing studies that have investigated the performance of large pretrained language models (PLMs) with respect to the structure and meaning of constructions. In this position paper, we make suggestions for the continuation and augmentation of this line of research. We look at probing methodology that was not designed with CxG in mind, as well as probing methodology that was designed for specific constructions. We analyse selected previous work in detail, and provide our view of the most important challenges and research questions that this promising new field faces.

연구 동기 및 목표

• LMs가 언어를 효과적으로 모델링하고 하류 태스크에 영향을 주려면 구성을 이해해야 한다고 주장한다.
• 사전학습된 언어모델(PLMs)에서 구성적 지치를 포착하기 위한 기존 프로빙 방법론과 그 한계를 검토한다.
• CxG 특화 프로빙 연구, 데이터 사용 및 방법론적 다양성을 조사하여 격차를 식별하고 향후 연구를 안내한다.
• 다양한 언어에 걸친 구성을 위한 표준화된 프로빙 방법과 주석 데이터 자원의 필요성을 강조한다.

제안 방법

• CxG를 위해 설계되지 않은 현재의 프로빙 방법과 특정 구성에 맞춰 설계된 방법을 조사하고 비판한다.
• CxG 중심 프로빙 연구에서 사용된 데이터 출처와 실험 설계를 분석한다.
• 기존 방법이 구성 구조를 얼마나 잘 포착하는지, 그리고 덜 중요한 측면인 구성의 의미를 얼마나 포착하는지 평가한다.
• CxG 조정 프로빙 방법론과 데이터 자원을 개발하기 위한 방향을 제안한다.
• 프로빙이 구성적 격차를 드러낼 때 LM 아키텍처와 사전학습에 대한 잠재적 함의를 논의한다.

실험 결과

연구 질문

• RQ1 사전학습된 언어 모델은 구성체를 형태와 의미의 gestalt 패턴으로 표현하는가?
• RQ2 현재의 프로빙 방법은 구성의 특징인 비연속적 패턴과 열린 슬롯을 포착할 수 있는가?
• RQ3 PLMs에서 구성적 지식을 견고하게 평가하기 위해 어떤 데이터, 주석 및 방법론이 필요한가?
• RQ4 구성 집중 프로빙이 모델 아키텍처나 사전학습 목표의 개선을 이끌 수 있는가?

주요 결과

• 기존의 프로빙 방법은 구성에 대한 구문적/구조적 민감성을 대체로 드러내지만, 그 의미를 견고하게 이해했다는 것을 보여주기에는 어려움을 겪는다.
• CxG 중심 연구는 영어에서 구성적 구조의 표현을 보여주지만, 언어 간 의미 획득에 대한 증거는 제한적이다.
• 데이터와 구성 목록이 편향되었거나 제한적이어서 PLMs의 구성적 지식에 대한 일반화 가능한 결론을 방해한다.
• 현행 방법론은 구성 범위, 데이터 소스 및 증거 유형에서 차이가 있어 연구 간 일반화를 어렵게 만든다.
• 프로빙 방법론 표준화와 보편적인 구성사전(constructicon) 자원 및 주석 코퍼스 개발의 필요성이 있다.
• 프로빙을 통해 모델의 구성적 의미와 슬롯 처리에 잠재적 근본적 격차가 있음을 시사하며, 아키텍처나 학습 방식의 조정이 필요하다고 요구한다.