[논문 리뷰] The Neural Noisy Channel

Lei Yu, Phil Blunsom외 3명|arXiv (Cornell University)|2016. 11. 08.

Natural Language Processing Techniques참고 문헌 21인용 수 20

한 줄 요약

이 논문은 쌍체의 입력-출력 데이터와 풍부한 비쌍체 출력 데이터를 모두 사용하여 채널 모델 $p(\mathbf{x}|\mathbf{y})$와 소스 모델 $p(\mathbf{y})$를 공동으로 훈련함으로써 순서-순서 변환 성능을 향상시키는 신경망 노이즈 채널 모델을 제안한다. 잠재적 정렬 변수를 도입하여 점진적 디코딩을 가능하게 함으로써 모델은 계산 가능한 비트 서치를 달성하고, 비쌍체 데이터가 풍부할수록 직접적인 순서-순서 모델보다 뛰어난 성능을 보인다.

ABSTRACT

We formulate sequence to sequence transduction as a noisy channel decoding problem and use recurrent neural networks to parameterise the source and channel models. Unlike direct models which can suffer from explaining-away effects during training, noisy channel models must produce outputs that explain their inputs, and their component models can be trained with not only paired training samples but also unpaired samples from the marginal output distribution. Using a latent variable to control how much of the conditioning sequence the channel model needs to read in order to generate a subsequent symbol, we obtain a tractable and effective beam search decoder. Experimental results on abstractive sentence summarisation, morphological inflection, and machine translation show that noisy channel models outperform direct models, and that they significantly benefit from increased amounts of unpaired output data that direct models cannot easily use.

연구 동기 및 목표

• 비쌍체 출력 데이터가 쌍체 입력-출력 쌍에 비해 현저히 많을 때 발생하는 데이터 불균형 문제를 해결하기 위해.
• 직접적인 순서-순서 모델에서 흔한 '해석의 제거(Explaining away)' 문제를 노이즈 채널 공식화를 통해 입력을 설명하는 출력을 강제함으로써 해결하기 위해.
• 출력 분포의 주변 분포를 사용하여 $p(\mathbf{y})$를 $p(\mathbf{x}|\mathbf{y})$에서 독립적으로 모델링하여 비쌍체 데이터를 효과적으로 활용할 수 있도록 하기 위해.
• 출력 접두사에 대한 점진적 조건부 설정을 허용하는 잠재적 분할 변수를 도입하여 노이즈 채널 모델의 계산 가능한 디코딩 알고리즘을 설계하기 위해.

제안 방법

• 모델은 각 출력 토큰이 입력 시퀀스 읽기와 비교해 언제 생성되는지를 제어하는 잠재적 정렬 변수 $\mathbf{z}$를 사용하여 점진적 디코딩을 가능하게 한다.
• 채널 모델 $p(\mathbf{x}|\mathbf{y})$는 잠재 변수를 통해 부분 출력 시퀀스에 조건부로 작용하는 순환 신경망으로 파arameter화되어 있으며, 출력 접두사에 대한 인수 분해를 가능하게 한다.
• 소스 모델 $p(\mathbf{y})$는 비쌍체 출력 시퀀스에서 훈련되어 풍부한 단일 언어 데이터를 활용하여 일반화 성능을 향상시킨다.
• 디코딩은 부분 가설을 유지하고 잠재 변수를 사용해 처리된 입력 세그먼트를 추적하는 비트 서치를 통해 수행된다.
• 백프로파게이션 동안 잠재 정렬 변수를 정확히 근사하기 위해 동적 프로그래밍을 사용하여 모델을 공동으로 훈련한다.
• 직접 모델과 노이즈 채널 모델을 결합하며, 후자는 언어 모델링과 입력 설명을 통해 상호 보완적인 인덕티브 바이어스를 제공한다.

실험 결과

연구 질문

• RQ1 신경망 노이즈 채널 모델은 비쌍체 출력 데이터를 효과적으로 활용하여 순서-순서 성능을 향상시킬 수 있는가?
• RQ2 잠재적 정렬 변수를 사용하면 장거리 조건부 설정이 있는 노이즈 채널 모델에서 계산 가능한 비트 서치 디코딩이 가능한가?
• RQ3 노이즈 채널 공식화는 직접적인 순서-순서 모델에서 흔한 '해석의 제거' 문제를 어떻게 완화하는가?
• RQ4 비쌍체 데이터가 풍부할 경우 노이즈 채널 모델이 직접 모델보다 얼마나 더 뛰어난 성능을 보이는가?
• RQ5 직접 모델과 노이즈 채널 모델을 조합하면 추가적인 성능 향상이 이루어지는가?

주요 결과

• 신경망 노이즈 채널 모델은 개괄적 요약, 형태소 변형, 기계 번역 작업에서 직접적인 순서-순서 모델보다 뛰어난 성능을 보였다.
• 모델은 비쌍체 출력 데이터로부터 크게 이점을 얻었으며, 이는 직접 모델이 쉽게 활용할 수 없는 점을 보여주며 소스 모델 구성요소의 가치를 입증한다.
• 개괄적 요약 작업에서 노이즈 채널 모델은 복사에 의존하기보다는 어색한 표현(예: 'speed up'은 'accelerate' 대신)을 생성함으로써 더 강력한 생성적 행동을 보였다.
• 출력이 입력을 설명하도록 요구함으로써 입력 설명 실패의 위험을 줄여 '해석의 제거' 문제를 피할 수 있었다.
• 직접 모델과 노이즈 채널 모델의 공동 훈련은 추가적인 성능 향상을 이끌어내었으며, 상호 보완적인 강점을 보였다.
• 잠재적 분할 변수를 통해 계산 가능한 비트 서치가 달성되었으며, 이는 전체 출력 시퀀스를 사전에 확보하지 않고도 단조로운 점진적 디코딩을 가능하게 하였다.