[논문 리뷰] Sequence Modeling with Unconstrained Generation Order

Dmitrii Emelianenko, Elena Voita외 1명|arXiv (Cornell University)|2019. 11. 01.

Multimodal Machine Learning Applications인용 수 12

한 줄 요약

이 논문은 고정된 순서 외에 어떤 순서로든 토큰을 삽입함으로써 출력 시퀀스를 생성하는 신경 시퀀스 모델 INTRUS를 제안한다. 학습 과정에서 사전에 정의된 제약 없이 최적의 생성 순서를 학습한다. 이 모델은 기계 번역, 이미지-to-LaTeX, 이미지 캡션 생성 작업에서 고정 순서 기반 모델보다 뛰어난 성능을 보이며, 예측이 쉬운 토큰(예: 구두점, 기능어)을 생성 과정의 초기에 우선순위를 두는 경향을 보인다.

ABSTRACT

The dominant approach to sequence generation is to produce a sequence in some predefined order, e.g. left to right. In contrast, we propose a more general model that can generate the output sequence by inserting tokens in any arbitrary order. Our model learns decoding order as a result of its training procedure. Our experiments show that this model is superior to fixed order models on a number of sequence generation tasks, such as Machine Translation, Image-to-LaTeX and Image Captioning.

연구 동기 및 목표

• 고정된 순서(예: 왼쪽에서 오른쪽)에 의존하는 기존 접근 방식의 한계를 극복하기 위해 다양성과 적응성을 제약 없이 향상시키기 위해.
• 작업에 특화된 사전 지식에 의존하지 않고, 학습 과정의 부산물로 최적의 생성 순서를 학습하는 모델을 개발하기 위해.
• 기계 번역, 이미지-to-LaTeX, 이미지 캡션 생성과 같은 다양한 시퀀스 생성 작업에서 성능을 향상시키기 위해.
• 모델이 의미 있는 생성 순서 선호도(예: 예측이 쉬운 토큰을 먼저 생성하는 방식)를 학습하는지 분석하기 위해.

제안 방법

• 모델는 점차 커지는 부분 시퀀스의 어느 위치에나 토큰을 반복적으로 삽입함으로써 시퀀스를 생성하며, 이를 (위치, 토큰) 쌍 또는 EOS로 표현한다.
• 현재 부분 출력과 입력을 바탕으로 각 삽입의 조건부 확률을 추정하기 위해 트랜스포머 기반 아키텍처를 사용한다.
• 참고 시퀀스의 로그우도를 최대화하는 것이 학습 목표이며, 진짜 우도의 하한을 사용하여 가장 가능성 높은 경로에 확률 질량을 집중시킨다.
• Vinyals 등이 제안한 바와 유사하게, 삽입 경로에 대해 근사적인 탐색(예: 그리디 또는 빔 서치)을 사용하여 최대우도 목표의 미분 가능 근사치를 활용한다.
• 입력당 하나의 최적 경로를 가정함으로써 O(|Y|!) 계산이 불가능한 문제를 피하고, 기울기 기반 최적화를 효율적으로 수행한다.
• 생성 순서에 대한 명시적 지도 없이 표준 backpropagation을 사용해 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 사전에 인도적 편향이 없이, 고정된 순서 외의 임의의 순서로 생성할 수 있는 시퀀스 모델이 학습 가능한가?
• RQ2 고정 순서 기반 모델과 비교해 볼 때, 제약 없는 생성 순서가 시퀀스 생성 작업의 성능 향상에 기여하는가?
• RQ3 모델이 학습하는 생성 순서 선호도는 어떤가? 인간이 애너테이션한 언어학적 패턴과 일치하는가?
• RQ4 초기 생성 단계에서 예측이 쉬운 토큰(예: 기능어, 구두점 등)이 지배적인가?

주요 결과

• INTRUS는 기계 번역, 이미지-to-LaTeX, 이미지 캡션 생성 작업에서 왼쪽에서 오른쪽, 오른쪽에서 왼쪽 기반 모델보다 뛰어난 성능을 보였다.
• 모델는 마침표, 기능어(예: 관형사, 접속사)와 같은 토큰을 디코딩 과정의 초기에 먼저 생성하는 경향을 보이며, 이는 '쉬운 것부터 먼저' 전략과 일치한다.
• 명사, 형용사, 전치사, 부사 등은 어느 정도 맥락이 확립된 후에 일반적으로 중간 단계에서 생성된다.
• 동사와 조사(_particles_)는 대부분 나중에 삽입되며, 이는 모델가 이 토큰들을 더 예측하기 어려워하는 것으로 나타난다.
• 모델는 입력에 따라 생성 순서를 적응적으로 조정하며, 왼쪽에서 오른쪽, 오른쪽에서 왼쪽, 중심에서 외곽으로 향하는 등 다양한 패턴을 생성한다.
• 학습된 생성 순서는 수동으로 지정되지 않았고, 학습 과정에서 자발적으로 유도된 것으로, 모델이 작업에 특화된 데이터 기반 전략을 스스로 발견할 수 있음을 보여준다.