[논문 리뷰] State-Denoised Recurrent Neural Networks

Michael C. Mozer, Denis Kazakov외 1명|arXiv (Cornell University)|2018. 05. 22.

Neural Networks and Applications참고 문헌 26인용 수 3

한 줄 요약

이 논문은 시퀀스 처리 중 숨겨진 표현을 안정화하기 위해 노이즈 제거 오토인코더 설정에서의 흡인자 역학을 사용하는 상태-노이즈 제거 순환 신경망(SDRNN)을 제안한다. 노이즈가 섞인 숨겨진 상태에서 깨끗한 숨겨진 상태를 재구성하기 위한 보조 손실을 훈련시킴으로써 SDRNN은 강건성과 일반화 능력을 향상시키며, 여러 시퀀스 작업에서 표준 RNN 및 노이즈 제거 목표가 없는 변형보다 뛰어난 성능을 보인다.

ABSTRACT

Recurrent neural networks (RNNs) are difficult to train on sequence processing tasks, not only because input noise may be amplified through feedback, but also because any inaccuracy in the weights has similar consequences as input noise. We describe a method for denoising the hidden state during training to achieve more robust representations thereby improving generalization performance. Attractor dynamics are incorporated into the hidden state to `clean up' representations at each step of a sequence. The attractor dynamics are trained through an auxillary denoising loss to recover previously experienced hidden states from noisy versions of those states. This state-denoised recurrent neural network {SDRNN} performs multiple steps of internal processing for each external sequence step. On a range of tasks, we show that the SDRNN outperforms a generic RNN as well as a variant of the SDRNN with attractor dynamics on the hidden state but without the auxillary loss. We argue that attractor dynamics---and corresponding connectivity constraints---are an essential component of the deep learning arsenal and should be invoked not only for recurrent networks but also for improving deep feedforward nets and intertask transfer.

연구 동기 및 목표

• 가중치의 정확도 부족과 숨겨진 상태의 편향이 시간이 지남에 따라 악화되는 순환 신경망 내부 노이즈 문제를 해결하기 위해.
• 숨겨진 표현을 노이즈에 더 강건하게 만들음으로써 시퀀스 처리에서 일반화 성능을 향상시키기 위해.
• 흡인자 역학과 함께 노이즈 제거 목표가 내부 표현을 안정화하고 모델 성능을 향상시킬 수 있는지 탐색하기 위해.
• 흡인자 네트워크가 RNN뿐 아니라 피드포워드 네트워크와 전이 학습에서도 유용한지 조사하기 위해.
• 내부 노이즈 억제가 흡인자 역학을 통해 이루어지면 특히 데이터가 적은 환경에서 더 나은 성능을 내는지 보여주기 위해.

제안 방법

• SDRNN 아키텍처는 RNN의 숨겨진 상태를 흡인자 역학을 사용해 노이즈를 제거하는 별도의 흡인자 네트워크를 포함한다.
• 흡인자 네트워크는 손상된 상태에서 깨끗한 숨겨진 상태를 재구성하기 위한 보조 노이즈 제거 손실을 통해 훈련된다.
• 흡인자 역학은 대칭 가중치와 유계이며 연속적이며 엄격히 증가하는 비선형성(예: tanh)에 의해 지배되며, 고정점 또는 한계 순환으로 수렴함을 보장한다.
• 외부 시퀀스 단계는 흡인자 네트워크가 수렴할 때까지 다중 내부 업데이트를 거쳐 숨겨진 상태를 반복적으로 개선한다.
• 주요 RNN는 보조 노이즈 제거 목표와 함께 함께 훈련되어 강건하고 노이즈에 강건한 표현을 학습할 수 있도록 한다.
• 흡인자 역학의 안정성과 수렴성을 보장하기 위해 리아푸노프 에너지 함수를 활용한다.

실험 결과

연구 질문

• RQ1 별도의 하위 네트워크에서 흡인자 역학이 RNN 숨겨진 상태의 내부 노이즈에 대한 강건성을 향상시킬 수 있는가?
• RQ2 숨겨진 상태에 보조 노이즈 제거 목표를 훈련시키면 시퀀스 처리 작업에서 일반화 성능이 향상되는가?
• RQ3 SDRNN은 표준 RNN 및 노이즈 제거 손실이 없는 SDRNN 변형보다 어떻게 성능을 냈는가?
• RQ4 흡인자 역학은 데이터가 제한된 학습 환경에서 성능 향상에 기여하는가?
• RQ5 흡인자 기반 노이즈 제거는 피드포워드 네트워크와 전이 학습으로 일반화될 수 있는가?

주요 결과

• SDRNN은 다양한 시퀀스 처리 작업에서 표준 RNN보다 뛰어난 일반화 성능을 보이며 향상된 성능을 입증한다.
• 흡인자 역학과 노이즈 제거 손실을 포함한 SDRNN은 흡인자 역학은 있지만 보조 노이즈 제거 목표가 없는 변형보다 유의미하게 뛰어난 성능을 보인다.
• 데이터가 제한된 환경에서 성능 향상이 뚜렷하게 나타나 샘플 효율성이 향상됨을 시사한다.
• 흡인자 역학은 숨겨진 표현을 효과적으로 안정화시켜 내부 노이즈와 가중치 정확도 부족의 영향을 줄인다.
• 이 방법은 일반화 가능하며 피드포워드 네트워크에 적용할 수 있으며, 이미지 노이즈 제거, 슈퍼해상도, 색상 복원 등 잠재적 응용 분야가 있다.
• 결과는 흡인자 역학과 연결성 제약 조건이 강건한 딥 러닝 아키텍처의 핵심 구성 요소임을 지지한다.