[논문 리뷰] Training Language Models Using Target-Propagation

Sam Wiseman, Sumit Chopra외 5명|arXiv (Cornell University)|2017. 02. 15.

Topic Modeling참고 문헌 21인용 수 8

한 줄 요약

이 논문은 순환 언어 모델을 훈련하기 위해 타겟 전파(TPROP)를 사용하는 것을 조사한다. TPROP는 역전파를 통한 시간 역행(BPTT)에서 발생하는 기울기 잘림 문제를 피하고 병렬 처리를 가능하게 하기 위해 은닉 상태를 명시적인 최적화 변수로 간주하는 방법이다. 이론적으로는 유리한 점이 있지만, 실험 결과 TPROP는 일반화 성능에서 BPTT에 뒤지며, 이는 제약 조건이 없는 은닉 상태 최적화에 기인한다. 따라서 TPROP가 시퀀스 모델링에서 성공하기 위해서는 추가적인 제약 조건이 필요할 것으로 보인다.

ABSTRACT

While Truncated Back-Propagation through Time (BPTT) is the most popular approach to training Recurrent Neural Networks (RNNs), it suffers from being inherently sequential (making parallelization difficult) and from truncating gradient flow between distant time-steps. We investigate whether Target Propagation (TPROP) style approaches can address these shortcomings. Unfortunately, extensive experiments suggest that TPROP generally underperforms BPTT, and we end with an analysis of this phenomenon, and suggestions for future work.

연구 동기 및 목표

• 언어 모델링을 위한 RNN 훈련에서 잘린 BPTT의 순차적 특성과 기울기 잘림 문제를 해결하기 위해.
• 타겟 전파(TPROP)가 병렬 훈련을 가능하게 하고 RNN의 장기 의존성 학습을 향상시킬 수 있는지 평가하기 위해.
• 기울기 흐름 잘림을 피함으로써 TPROP가 BPTT보다 더 잘 일반화할 수 있는지 조사하기 위해.
• 실제로 TPROP가 BPTT에 비해 성능이 열 劣하는 이유를 분석하고, 성능 향상을 위한 잠재적 제약 조건을 규명하기 위해.

제안 방법

• 은닉 상태 $ h_t $ 를 재귀적으로 계산하는 대신, 명시적인 최적화 변수로 간주하여 RNN 훈련을 수식화한다.
• 예측 손실 $ \ell(f(\hat{h}_t), y_t) $ 와 재구성 페널티 $ C(\hat{h}_t, h_t) $ 를 포함하는 손실 함수를 도입하여 재귀 관계 $ \hat{h}_t = g(x_t, h_{t-1}) $ 를 유지하도록 한다.
• 교차 최적화 방식을 사용한다: 매개변수 $ \theta $ 를 고정한 채로 $ h_t $ 를 업데이트하고, 그 반대의 순서도 반복하며, $ \mathcal{H} $-스텝이 이러한 업데이트 횟수를 제어한다.
• 배치 및 미니배치 버전의 TPROP를 모두 적용하며, 각 미니배치에서 $ h_t $ 를 이전의 $ \hat{h}_t $ 로 초기화하여 일관성을 유지한다.
• 은닉 상태 최적화를 정규화하고 일반화 성능 향상을 위해 $ L_2 $ 페널티 $ \lambda \| \hat{h}_t - h_t \|_2^2 $ 를 사용한다.
• 퍼플렉서티를 평가 지표로 사용하여, 펜 트리뱅크(PTB)와 Text8를 포함한 여러 언어 모델링 벤치마크에서 TPROP의 성능을 BPTT와 비교한다.

실험 결과

연구 질문

• RQ1 타겟 전파(TPROP)는 BPTT의 순차적 의존성을 피하면서 RNN 언어 모델 훈련에 효과적으로 활용될 수 있는가?
• RQ2 TPROP는 잘린 BPTT에 비해 더 긴 범위의 기울기 흐름을 가능하게 하여 일반화 성능을 향상시키는가?
• RQ3 병렬 처리와 기울기 전파 측면에서 이론적으로 유리한 점이 있음에도 불구하고, TPROP가 실질적으로 BPTT에 비해 성능이 열 劣하는 이유는 무엇인가?
• RQ4 은닉 상태 최적화에 추가적인 제약 조건을 적용하면 TPROP의 성능 향상이 가능하고, BPTT와의 격차를 줄일 수 있는가?

주요 결과

• 배치 TPROP는 배치 BPTT와 유사한 훈련 손실을 달성하지만 일반화 성능가 매우 열 劣하여, 훈련 손실 최적화는 이루어지나 일반화 능력은 열 劣함을 시사한다.
• 미니배치 TPROP는 $ \mathcal{H} $-스텝이 1로 설정된 경우에만 BPTT의 일반화 성능을 따라잡는다. 이는 TPROP가 실제로 BPTT로 수렴함을 의미한다.
• TPROP의 성능 열 劣는 은닉 상태 최적화가 제약 조건이 없기 때문이며, 일반화 능력이 떨어지는 낮은 손실 상태를 찾을 수 있기 때문이다.
• 실험 결과, 손실 함수에 포함된 $ L_2 $ 페널티는 미니배치 TPROP에서 약간의 성능 향상을 가져오며, 이는 장기 의존성 학습보다 정규화 효과에 기인함을 시사한다.
• 은닉 상태 차원이 증가할수록 BPTT의 성능가 TPROP에 비해 향상되며, 이는 TPROP가 고차원 공간에서 제약 없는 최적화에 어려움을 겪는다는 가설을 지지한다.
• 그림 3은 작은 은닉 상태에서는 BPTT가 TPROP를 앞서지만, 차원이 증가함에 따라 격차가 줄어들며, 이는 TPROP가 더 큰 모델에서는 더 강력한 제약 조건이 필요함을 암시한다.