[논문 리뷰] On Predictive Information in RNNs

Zhe Dong, Deniz Oktay외 2명|arXiv (Cornell University)|2019. 10. 21.

Neural Networks and Applications참고 문헌 26인용 수 4

한 줄 요약

이 논문은 최대우도 기반으로 훈련된 순환 신경망(RNNs)이 미래 시퀀스에 대한 예측 능력을 유지하면서 과거 정보를 최적으로 압축하는지 조사한다. 결과적으로 표준 RNNs는 불필요한 과거 정보를 과도하게 추출하는 것으로 밝혀졌다. 숨겨진 상태에 노이즈를 주입하여 정보를 제약함으로써 저자들은 예측 정확도, 우도, 후행 분류 작업에서 RNN 성능을 향상시켰으며, 특히 데이터가 적은 환경에서 성능 향상이 두드러졌다. 이는 정보 버블릿 정규화가 모델의 효율성과 일반화 능력을 향상시킨다는 것을 보여준다.

ABSTRACT

Certain biological neurons demonstrate a remarkable capability to optimally compress the history of sensory inputs while being maximally informative about the future. In this work, we investigate if the same can be said of artificial neurons in recurrent neural networks (RNNs) trained with maximum likelihood. Empirically, we find that RNNs are suboptimal in the information plane. Instead of optimally compressing past information, they extract additional information that is not relevant for predicting the future. We show that constraining past information by injecting noise into the hidden state can improve RNNs in several ways: optimality in the predictive information plane, sample quality, heldout likelihood, and downstream classification performance.

연구 동기 및 목표

• 최대우도 기반으로 훈련된 RNNs가 생물학적 뉴런에서 관찰되는 것처럼 과거 입력을 최적으로 압축하면서 미래에 대한 예측 정보를 유지하는지 여부를 확인하는 것.
• 보류된 데이터 세트를 사용하여 RNNs와 최적 모델에서 상호정보량 추정의 정확도를 평가하는 것.
• RNN의 은닉 상태에 노이즈를 주입하여 정보를 제약함으로써 예측 및 후행 작업에서의 RNN 성능 향상 여부를 조사하는 것.
• 정보 평면에서 과거 정보 유지와 미래 예측 가능성 사이의 트레이드오프를 탐색하는 것.
• 실제 스케치 데이터 세트에서 정보 제약의 영향을 샘플 품질, 보류된 우도, 분류 정확도 측면에서 평가하는 것.

제안 방법

• 변동형 상호정보 추정기기를 사용하여 과거와 미래 시퀀스 세그먼트 간의 상호정보량으로 예측 정보를 측정한다.
• 은닉 상태에 노이즈를 주입하여 과거 정보의 양을 제약함으로써 표현을 정규화하는 전략을 적용한다.
• 정보 버블릿 라그랑주안을 사용하여 정보 평면에서 과거와 미래 정보 사이의 최적 트레이드오프 경로를 추적한다.
• 다양한 데이터 세트 크기와 노이즈 수준을 가진 QuickDraw 스케치 데이터 세트에서 클래스 조건부 RNNs를 훈련하여 일반화 및 성능을 평가한다.
• 나이브 베이즈 분류기를 사용하여 보류된 로그우도와 후행 분류 정확도를 통해 모델 성능을 평가한다.
• 보류된 세트를 사용하여 상호정보량 추정치를 검증하고, RNNs를 가우시안 과정에 대해 분석적으로 유도된 최적 모델과 비교한다.

실험 결과

연구 질문

• RQ1 최대우도 기반으로 훈련된 RNNs는 미래 예측에 필요한 만큼의 과거 입력을 최적으로 압축하면서도 미래에 대해 최대한의 정보를 유지하는가?
• RQ2 RNN의 은닉 상태에 노이즈를 주입하면 과거 정보 유지와 미래 예측 가능성 사이의 균형에 어떤 영향을 미치는가?
• RQ3 정보 제약이 저데이터 환경에서 보류된 우도와 샘플 품질에 얼마나 기여하는가?
• RQ4 과거 정보를 제한하면 실제 순차적 데이터에서 후행 분류 성능이 향상되는가?
• RQ5 다양한 훈련 목표와 아키텍처 선택이 정보 평면에서 RNN의 위치에 어떤 영향을 미치는가?

주요 결과

• 최대우도 기반으로 훈련된 RNNs는 정보 평면에서 최적이 아니며, 미래 예측에 필요한 만큼의 과거 정보보다 더 많은 정보를 추출한다.
• 작은 스케치 데이터 세트(예: 클래스당 100개 예제)에서 RNN의 은닉 상태에 노이즈를 주입하면 보류된 로그우도가 향상되어 일반화 능력 향상이 확인된다.
• 정보 제약은 특히 저데이터 환경에서 후행 분류 정확도를 향상시키며, 11개의 스케치 클래스 전반에서 개선 효과가 관찰된다.
• 클래스당 최대 5,000개의 예제가 있을 경우조차도 RNN은 노이즈 주입을 통해 정보를 크게 압축해도 보류된 로그우도에 손실가지 않음을 보여주며, 정보 감소에 대한 강건성을 입증한다.
• 표준 RNNs는 과거와 미래 정보 사이의 최적 트레이드오프를 달성하지 못하지만, 정보 버블릿 정규화를 명시적으로 적용함으로써 이를 근접할 수 있다.
• 연구는 보류된 세트를 사용한 상호정보량 추정이 RNN의 정보이론적 성능 평가에 있어 정확한 평가를 위해 필수적임을 검증한다.