[논문 리뷰] Neural Language Priors

Joseph Enguehard, Dan Busbridge외 2명|arXiv (Cornell University)|2019. 10. 04.

Topic Modeling참고 문헌 36인용 수 4

한 줄 요약

이 논문은 학습 절차와는 독립적으로 신경망 인코더 아키텍처가 문장 표현 품질에 미치는 영향을 조사한다. 심지어 자기주의(self-attention)나 그래프 기반 모델과 같은 강한 인도적 편향(inductive bias)을 가진 아키텍처들이라도, 약한 사전 지식을 가진 단순한 모델들보다 성능 향상이 거의 없음을 발견하였으며, 이는 학습 신호가 통제된 조건에서 아키텍처의 인도적 편향이 최종 작업 성능에 미치는 영향이 제한적이라는 것을 시사한다.

ABSTRACT

The choice of sentence encoder architecture reflects assumptions about how a sentence's meaning is composed from its constituent words. We examine the contribution of these architectures by holding them randomly initialised and fixed, effectively treating them as as hand-crafted language priors, and evaluating the resulting sentence encoders on downstream language tasks. We find that even when encoders are presented with additional information that can be used to solve tasks, the corresponding priors do not leverage this information, except in an isolated case. We also find that apparently uninformative priors are just as good as seemingly informative priors on almost all tasks, indicating that learning is a necessary component to leverage information provided by architecture choice.

연구 동기 및 목표

• 학습 신호와는 독립적으로 인코더 아키텍처의 기여도가 문장 표현 품질에 미치는 영향을 분리하여 분석하는 것.
• 자연어 언어에 강한 언어 사전 지식을 가진 아키텍처(예: 자기주의, 그래프 기반 모델)가 약하거나 정보가 없는 사전 지식을 가진 아키텍처보다 성능이 뛰어나지 않는지 평가하는 것.
• 학습 절차를 동일하게 유지할 때 아키텍처의 인도적 편향이 최종 작업 성능에 실제로 기여하는지 평가하는 것.
• 강한 인도적 편향을 가진 신경 아키텍처가 자연어 처리 작업에서 본질적으로 더 나은 일반화를 이끌어낸다는 가정을 도전하는 것.

제안 방법

• 다양한 아키텍처에 대해 동일한 최종 작업 학습 신호를 사용하여 아키텍처 효과를 분리하는 학습 절차를 적용함.
• 자연어 언어에 강한 언어 사전 지식을 가진 아키텍처(예: 트랜스포머, 그래프 네트워크)를 약한 인도적 편향을 가진 아키텍처(예: bag-of-words, 단순 피드포워드)와 비교함.
• 고정된 학습 목표와 데이터 분할을 사용하여 성능 차이가 최적화나 데이터 요인 때문이 아니라 아키텍처 자체 때문임을 보장함.
• 표준 자연어 처리 벤치마크에서 모델을 평가하여 다양한 작업에서의 최종 성능를 측정함.
• 세부 조정, 데이터 증강, 작업별 적응 기법 등에 기인한 혼동 요인을 제거하기 위해 통제된 학습 프rotocol를 적용함.
• 동일한 학습 조건 하에서 성능 차이를 측정하여 아키텍처 편향의 상대적 기여도를 평가함.

실험 결과

연구 질문

• RQ1 학습 신호를 동일하게 유지할 경우 인코더 아키텍처의 선택이 문장 표현 품질에 상당한 영향을 미치는가?
• RQ2 자기주의나 그래프 구조와 같은 강한 인도적 편향을 가진 아키텍처가 최종 자연어 처리 작업에서 약한 사전 지식을 가진 아키텍처보다 성능이 뛰어나지 않는가?
• RQ3 학습 동역학과는 독립적으로 아키텍처의 인도적 편향이 일반화에 얼마나 기여하는가?
• RQ4 동일한 학습 조건에서 최소한의 인도적 편향을 가진 모델이 강한 사전 지식을 가진 모델과 비교해 유사한 성능을 달성할 수 있는가?

주요 결과

• 자기주의나 그래프 기반 모델과 같은 강한 인도적 편향을 가진 아키텍처는 약하거나 정보가 없는 사전 지식을 가진 모델들보다 거의 성능 향상을 보이지 않았다.
• 구조적 사전 지식을 명시적으로 활용하는 모델들—예를 들어 문법적 또는 의존 구조를 활용한 모델들—도 학습 신호가 동일하게 유지된 조건에서는 단순한 아키텍처들과 유사한 성능을 보였다.
• 결과적으로 학습 절차가 통제된 조건에서 아키텍처의 인도적 편향이 최종 성능에 기여하는 바가 미미하다는 것이 시사된다.
• 학습 조건이 통제된 상황에서 아키텍처 간 성능 차이는 매우 미미했고 통계적으로 유의미하지 않았다.
• 이것은 강한 인도적 편향이 자연어 처리 작업에서 본질적으로 더 나은 일반화를 이끌어낸다는 일반적인 가정을 도전하는 것이다.
• 이러한 발견은 데이터 품질, 모델 규모, 최적화 방법 등 아키텍처 설계 이외의 요소들이 성능 결정에 더 큰 영향을 미칠 수 있음을 암시한다.