[논문 리뷰] Interpretable Recurrent Neural Networks Using Sequential Sparse Recovery

Scott Wisdom, Thomas A. Powers외 2명|arXiv (Cornell University)|2016. 11. 22.

Sparse and Compressive Sensing Techniques참고 문헌 17인용 수 38

한 줄 요약

이 논문은 순차적 소수 복원 문제를 위한 순차적 반복 소(thresholding) 알고리즘(SISTA)에서 유도된 새로운 해석 가능한 순환 신경망 아키텍처인 SISTA-RNN을 제안한다. RNN 학습을 확률적 모델 내 추론으로 재정의함으로써, SISTA-RNN은 소수 유도 사전, 정규화 가중치, 스텝 사이즈와 같은 해석 가능한 파라미터를 학습하며, 압축 센싱 이미지 복원 작업에서 블랙박스 LSTM과 일반 RNN보다 뛰어난 성능과 더 빠른 학습을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are powerful and effective for processing sequential data. However, RNNs are usually considered "black box" models whose internal structure and learned parameters are not interpretable. In this paper, we propose an interpretable RNN based on the sequential iterative soft-thresholding algorithm (SISTA) for solving the sequential sparse recovery problem, which models a sequence of correlated observations with a sequence of sparse latent vectors. The architecture of the resulting SISTA-RNN is implicitly defined by the computational structure of SISTA, which results in a novel stacked RNN architecture. Furthermore, the weights of the SISTA-RNN are perfectly interpretable as the parameters of a principled statistical model, which in this case include a sparsifying dictionary, iterative step size, and regularization parameters. In addition, on a particular sequential compressive sensing task, the SISTA-RNN trains faster and achieves better performance than conventional state-of-the-art black box RNNs, including long-short term memory (LSTM) RNNs.

연구 동기 및 목표

• 원칙적인 확률 모델에서 유도함으로써 학습된 파라미터의 해석 가능성 유지가 가능한 순환 신경망 아키텍처를 개발하는 것.
• 특히 LSTM와 같은 기존 RNN의 블랙박스 성향을 해결하기 위해 히우리스틱 구성 요소를 모델 기반 추론 알고리즘으로 대체하는 것.
• 구조화되고 해석 가능한 RNN 설계를 통해 희박 복원 작업에서의 학습 속도와 성능 향상을 도모하는 것.
• SISTA를 통한 모델 기반 초기화가 일반 RNN에서 무작위 초기화보다 더 나은 수렴과 일반화를 이끌어내는지 보여주는 것.
• 해석 가능한 딥 네트워크를 향후 인간이 이해할 수 있는 인공지능 시스템의 기초로 사용할 수 있는지 탐색하는 것.

제안 방법

• SISTA-RNN는 희박 복원 문제에 희박성 유도 사전을 적용한 순차적 반복 소(thresholding) 알고리즘(SISTA)을 전개하여 구성된다.
• 네트워크 아키텍처는 SISTA의 계산 구조에 의해 암묵적으로 정의되며, 통계 모델 구성 요소와 연결된 학습 가능한 파라미터를 가진 스택드 RNN 구조를 형성한다.
• 핵심 파라미터로는 희박화 사전 D, 정규화 파라미터 λ₁과 λ₂, 스텝 사이즈 α가 있으며, 이들은 학습 후에도 여전히 확률적 해석을 유지한다.
• SISTA 파라미터는 비지도 SISTA에서 초기화되고, 역전파를 통해 미세조정되며, 전체적으로 평균 제곱오차 손실을 사용해 엔드 투 엔드로 학습된다.
• 장기 단기 기억(LSTM) 유닛과 같은 블랙박스 구성 요소를 피하고, 대신 미분 가능하고 모델 기반의 추론 과정에 의존한다.
• 해석 가능성 유지의 목적으로 λ₂에 비음성 제약 조건을 적용하여, 학습된 파라미터 행동에 기반한 아키텍처 개선 가능성을 탐색한다.

실험 결과

연구 질문

• RQ1 학습된 가중치가 확률 모델의 해석 가능한 파라미터에 직접 대응하는 순환 신경망을 설계할 수 있는가?
• RQ2 SISTA를 통한 모델 기반 초기화가 일반 RNN에서 무작위 초기화보다 더 빠른 수렴과 향상된 성능을 이끌어내는가?
• RQ3 SISTA-RNN의 성능은 순차적 희박 복원 작업에서 LSTM과 일반 RNN과 같은 블랙박스 RNN과 비교해 어떻게 되는가?
• RQ4 SISTA-RNN은 복소수 상태나 유니터리 제약 조건이 필요 없이 기존 아키텍처인 유니터리 RNN(uRNN)의 일반화로 간주될 수 있는가?
• RQ5 λ₁, λ₂, α와 같은 SISTA 파라미터의 학습된 값 분석을 통해 모델 행동과 데이터 구조에 대한 통찰을 얻을 수 있는가?

주요 결과

• SISTA-RNN는 테스트 세트에서 최저 평균 제곱오차(MSE) 584를 기록하여 LSTM(727 MSE)과 일반 RNN(720 MSE)을 모두 앞섰다.
• SISTA-RNN는 신호 대 잡음비(PSNR) 21.7 dB를 기록하여 LSTM과 일반 RNN(모두 20.7 dB)보다 유의미하게 높았다.
• 학습 곡선을 통해 SISTA-RNN는 LSTM과 일반 RNN보다 더 빠른 학습 속도를 보였으며, 이는 모델 기반 초기화에 기인한 개선된 최적화 역학을 시사한다.
• 학습된 SISTA 파라미터로는 λ₁ = 3.07(더 높은 희박성 페널티), α = 2.02(더 작은 스텝 사이즈), λ₂ = -0.04가 포함되어 있었으며, 이는 해석 가능성 유지의 목적으로 비음성 제약 조건이 필요함을 시사한다.
• SISTA-RNN의 성능는 세 프레임의 맥락과 완벽한 초기 상태 추정치를 사용한 오라클 초기화 ℓ₁-호모토피 방법조차도 뛰어넘었다.
• 시각화 결과에서 학습된 사전 D와 예측 행렬 F가 안정적으로 유지됨을 확인하여, 이들이 데이터 구조와 잘 맞춰져 있음을 시사한다.