[논문 리뷰] What they do when in doubt: a study of inductive biases in seq2seq learners

Eugene Kharitonov, Rahma Chaabouni|arXiv (Cornell University)|2020. 06. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 41인용 수 13

한 줄 요약

이 논문은 기억화, 산술, 계층적, 조합적 추론을 탐사하는 네 가지 합성 작업을 통해 시퀀스-투-시퀀스 모델의 인도적 편향을 조사한다. 기술적 설명 길이를 원칙적이고 민감한 인도적 편향 측정법으로 도입하며, LSTM 및 트랜스포머 모델이 계층적 일반화를 선호하는 반면, CNN 기반 모델은 선형적이고 조합적인 패턴을 선호함을 발견한다. 특히 트랜스포머는 강력한 기억화 편향을 보인다.

ABSTRACT

Sequence-to-sequence (seq2seq) learners are widely used, but we still have only limited knowledge about what inductive biases shape the way they generalize. We address that by investigating how popular seq2seq learners generalize in tasks that have high ambiguity in the training data. We use SCAN and three new tasks to study learners' preferences for memorization, arithmetic, hierarchical, and compositional reasoning. Further, we connect to Solomonoff's theory of induction and propose to use description length as a principled and sensitive measure of inductive biases. In our experimental study, we find that LSTM-based learners can learn to perform counting, addition, and multiplication by a constant from a single training example. Furthermore, Transformer and LSTM-based learners show a bias toward the hierarchical induction over the linear one, while CNN-based learners prefer the opposite. On the SCAN dataset, we find that CNN-based, and, to a lesser degree, Transformer- and LSTM-based learners have a preference for compositional generalization over memorization. Finally, across all our experiments, description length proved to be a sensitive measure of inductive biases.

연구 동기 및 목표

• 데이터 부족 상황에서 여러 설명이 제한된 훈련 데이터와 일치할 수 있을 때 시퀀스-투-시퀀스 모델이 어떻게 일반화되는지 이해하기.
• 인기 있는 시퀀스-투-시퀀스 아키텍처에서 기억화, 산술, 계층, 조합적 추론 등의 인도적 편향을 식별하고 정량화하기.
• 솔로몬오프의 인도 이론에 기반한 원칙적인, 민감한 인도적 편향 측정법으로서 기술적 설명 길이를 개발하고 검증하기.
• 다양한 추론 패턴에서 LSTM, 트랜스포머, CNN 기반 시퀀스-투-시퀀스 모델의 일반화 행동을 비교하기.

제안 방법

• 기존 데이터가 모호하고 일반화 패턴이 상이한 네 가지 새로운 합성 작업 설계: Count-or-Memorization, Add-or-Multiply, Hierarchical-or-Linear, Composition-or-Memorization.
• 모델이 특정 규칙에 따라 일반화하는 빈도를 측정하기 위해 정확도 비율(FPA)을 사용하며, 높은 FPA는 해당 규칙로의 강한 편향을 의미한다.
• 기술적 설명 길이(L)를 원칙적인 인도적 편향 측정법으로 제안하며, 주어진 규칙 하에서 모델 예측의 설명 길이로 정의되며, 낮은 값일수록 강한 편향을 의미한다.
• 예시 수로 기술적 설명 길이를 정규화하여 학습 속도와 편향 습득 과정을 추적하고, 편향의 진화 분석을 가능하게 한다.
• 각 작업에서 20개의 랜덤 시드를 사용해 여러 모델(LSTM, 트랜스포머, CNN)을 훈련하고, 아키텍처 및 설정 간 FPA와 기술적 설명 길이를 비교한다.
• 후보 규칙 간 기술적 설명 길이의 차이에 대한 통계적 유의성을 평가하기 위해 대응 t-검정을 적용한다.

실험 결과

연구 질문

• RQ1 고도로 모호한 작업에서 단일 예제로 훈련된 시퀀스-투-시퀀스 모델은 어떻게 일반화하는가?
• RQ2 LSTM, 트랜스포머, CNN 기반 시퀀스-투-시퀀스 모델은 기억화, 산술, 계층, 조합적 추론 중 어떤 인도적 편향을 보이는가?
• RQ3 기술적 설명 길이가 시퀀스 모델의 인도적 편향을 민감하고 원칙적으로 측정할 수 있는가?
• RQ4 다른 아키텍처는 어떤 속도로 특정 종류의 일반화를 선호하도록 학습하는가?

주요 결과

• LSTM 기반 모델은 최소한 하나의 훈련 예제로도 계산, 덧셈, 일정 수의 곱셈과 같은 비트리비얼한 산술 규칙을 학습할 수 있다.
• 트랜스포머 및 LSTM 기반 모델은 선형 일반화보다 계층적 일반화를 강하게 선호하는 반면, CNN 기반 모델은 반대로 선형 일반화를 선호한다.
• 충분한 복합 예제가 제공될 경우 CNN 기반 모델은 낮은 기술적 설명 길이를 통해 기억화보다 조합적 일반화를 선호하는 편향을 보인다.
• 트랜스포머는 기억화 편향이 뚜렷하며, 조합적 규칙보다 기억화에 대해 기술적 설명 길이가 유의미하게 낮다.
• 기술적 설명 길이는 인도적 편향을 민감하고 신뢰할 수 있는 측정법으로 입증되었으며, 다양한 모델 유형과 일반화 규칙 간 통계적 유의성 차이를 보였다.
• 공동 소스-타겟 자기주의 모델의 인도적 편향은 표준 트랜스포머와 유사하며, 주로 주의 메커니즘 간 일관성을 보여준다.