[논문 리뷰] A taxonomy and review of generalization research in NLP

Dieuwke Hupkes, Mario Giulianelli외 18명|arXiv (Cornell University)|2022. 10. 06.

Natural Language Processing Techniques참고 문헌 629인용 수 41

한 줄 요약

이 논문은 NLP에서 일반화 연구를 체계화하기 위해 종합적인 오차축 분류 체계를 제안하며, 400편 이상의 논문과 600개 이상의 실험을 분석한다. 연구는 일반화의 주요 동기, 일반화 유형, 데이터 이탈 유형, 이탈 원인, 모델링 파이프라인 내 이격 지점 등을 규명하여 현재 평가 관행의 핵심적 격차를 드러내며, NLP 연구의 새로운 표준으로 표준화되고 강력한 일반화 테스트를 주장한다.

ABSTRACT

The ability to generalise well is one of the primary desiderata of natural language processing (NLP). Yet, what 'good generalisation' entails and how it should be evaluated is not well understood, nor are there any evaluation standards for generalisation. In this paper, we lay the groundwork to address both of these issues. We present a taxonomy for characterising and understanding generalisation research in NLP. Our taxonomy is based on an extensive literature review of generalisation research, and contains five axes along which studies can differ: their main motivation, the type of generalisation they investigate, the type of data shift they consider, the source of this data shift, and the locus of the shift within the modelling pipeline. We use our taxonomy to classify over 400 papers that test generalisation, for a total of more than 600 individual experiments. Considering the results of this review, we present an in-depth analysis that maps out the current state of generalisation research in NLP, and we make recommendations for which areas might deserve attention in the future. Along with this paper, we release a webpage where the results of our review can be dynamically explored, and which we intend to update as new NLP generalisation studies are published. With this work, we aim to take steps towards making state-of-the-art generalisation testing the new status quo in NLP.

연구 동기 및 목표

• NLP 모델에서 일반화 평가의 공감대 형성과 표준화 부족 문제를 해결하기 위해.
• 강건성, 공정성, 인지적 타당성 등 일반화 연구 배경이 되는 다양한 동기를 식별하고 분류하기 위해.
• 일반화 유형, 데이터 이탈 및 그 원인, 모델링 파이프라인 내 이격 지점의 전반적인 스펙트럼을 포괄하는 체계적 분류 체계를 개발하기 위해.
• 제안된 분류 체계를 활용해 400편 이상의 논문과 600개 이상의 실험을 분류함으로써 일반화 연구의 현재 상태를 분석하기 위해.
• 미래 연구 방향을 제안하고, 체계적 일반화 평가의 도입을 장려하여 NLP 분야에서의 새로운 표준으로 정착시키기 위해.

제안 방법

• 저자는 일반화 연구를 기술하기 위해 오차축 분류 체계를 개발했다: (1) 동기, (2) 일반화 유형, (3) 데이터 이탈 유형, (4) 이탈 원인, (5) 모델링 파이프라인 내 이격 지점.
• 이 분류 체계를 활용해 문헌에서 400편 이상의 NLP 논문과 600개 이상의 개별 실험을 체계적으로 분류하였다.
• 분류 작업은 다양한 NLP 하위 분야와 평가 패러다임을 아우르는 종합적인 문헌 리뷰를 기반으로 수행되었다.
• 연구자들은 데이터 패턴을 분석하여 연구 초점의 불균형을 규명하였으며, 예를 들어 i.i.d. 분할에 대한 과도한 의존과 조합적·구조적 일반화의 부족한 표현을 확인하였다.
• 분류 체계와 결과를 시각화하고 탐색할 수 있도록 상호작용식이며 동적으로 업데이트 가능한 웹 플랫폼을 공개하였다. 이는 지속적인 연구 코어닝을 지원한다.
• qualitative 분류와 연구 추세의 정량적 분석을 통합하여 향후 평가 기준 수립에 기여하는 방법을 적용하였다.

실험 결과

연구 질문

• RQ1 NLP에서 일반화 연구를 이끄는 주요 동기는 무엇이며, 평가 설계에 어떻게 영향을 미치는가?
• RQ2 예를 들어 조합적, 구조적, 다국어 일반화 등 어떤 일반화 유형이 가장 자주 연구되었고, 어떤 것은 여전히 미비하게 다뤄지고 있는가?
• RQ3 NLP 일반화 연구에서 데이터 이탈은 원천(자연적 vs. 생성된)과 유형(공변량, 레이블, 전체 이탈) 측면에서 어떻게 다를까?
• RQ4 모델링 파이프라인의 어디에서—사전학습, 학습, 또는 테스트—에서 데이터 이탈이 가장 자주 발생하며, 이는 모델 평가에 어떤 영향을 미치는가?
• RQ5 강건하고 인간과 유사한 모델 행동을 위해 중요하지만 현재는 다소 간과된 일반화 능력은 무엇인가?

주요 결과

• 60퍼센트 이상의 일반화 연구가 도메인 또는 스타일 변화와 같은 단순한 데이터 이탈에 집중하는 반면, 조합적 및 구조적 일반화는 여전히 크게 미흡하게 연구되고 있다.
• 조합적 일반화를 탐색하는 데 유용한 완전히 생성된 데이터 분할(예: SCAN)을 사용하는 연구는 전체의 12퍼센트에 불과하지만, 그 가치는 높다.
• 다수의 연구(78퍼센트)가 자연적 데이터 분할 또는 자연적으로 발생하는 이탈을 사용해 일반화를 평가하지만, 이러한 방식은 종종 체계적 통제와 재현 가능성이 부족하다.
• 연구 초점에 심각한 불균형이 존재한다: 강건성과 공정성이 주요 동기로 떠오르지만, 인간과 유사한 추론과 같은 인지적 및 내재적 동기는 부족하게 다뤄지고 있다.
• 표준 i.i.d. 벤치마크(예: GLUE 점수 >90)에서는 높은 성능을 기록하지만, 비-i.i.d. 또는 분포가 이탈된 데이터에서는 실패함을 보이며, 성능과 진정한 일반화 사이에 핵심 격차가 있음을 시사한다.
• 분류 체계 분석 결과, 일반화 연구의 85퍼센트는 훈련 데이터에서 테스트 데이터로의 이탈을 포함하지만, 사전학습에서 훈련 또는 사전학습에서 테스트로의 이탈을 연구한 연구는 10퍼센트에 불과하여, 수명 주기나 지속적 학습 능력 평가에 대한 빈도가 낮은 점을 드러낸다.