[논문 리뷰] Increasing the Interpretability of Recurrent Neural Networks Using Hidden Markov Models

Viktoriya Krakovna, Finale Doshi‐Velez|arXiv (Cornell University)|2016. 06. 16.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 58

한 줄 요약

이 논문은 예측 성능을 훼손하지 않으면서 해석 가능성성을 향상시키기 위해 순환 신경망(RNNs)과 은닉 마르코프 모델(HMMs)을 융합한 하이브리드 모델을 제안한다. LSTM의 은닉 상태에 기반해 HMM을 학습하고, HMM의 상태 분포를 LSTM 출력에 통합함으로써, 문장 부호, 공백, 주석 기호와 같은 보완적인 특징을 학습한다. 이로 인해 RNN의 동작을 더 명확히 해석할 수 있으며, 독립적인 모델보다 향상된 예측 가능성을 달성한다.

ABSTRACT

As deep neural networks continue to revolutionize various application domains, there is increasing interest in making these powerful models more understandable and interpretable, and narrowing down the causes of good and bad predictions. We focus on recurrent neural networks (RNNs), state of the art models in speech recognition and translation. Our approach to increasing interpretability is by combining an RNN with a hidden Markov model (HMM), a simpler and more transparent model. We explore various combinations of RNNs and HMMs: an HMM trained on LSTM states; a hybrid model where an HMM is trained first, then a small LSTM is given HMM state distributions and trained to fill in gaps in the HMM's performance; and a jointly trained hybrid model. We find that the LSTM and HMM learn complementary information about the features in the text.

연구 동기 및 목표

• 의료와 같은 고위험 분야에서 모델의 투명성이 핵심이 되는 순차적 데이터 작업에서 순환 신경망(RNNs)의 해석 가능성을 향상시키기 위해.
• RNN의 '블랙박스' 성격을 해결하기 위해 은닉 마르코프 모델(HMMs)의 본질적으로 해석 가능한 구조와 결합하기 위해.
• HMM과 LSTM이 순차적 데이터에서 문장 부호, 공백, 주석 기호와 같은 보완적인 특징을 학습할 수 있는지 탐색하기 위해.
• 더 나은 성능과 해석 가능성을 위해 HMM과 LSTM을 동시에 또는 순차적으로 융합한 하이브리드 아키텍처를 개발하고 평가하기 위해.
• 하이브리드 모델이 텍스트 데이터에서 의미 있는 인간이 이해할 수 있는 패턴을 포착하고 있음을 시각적 및 정량적 증거로 제시하기 위해.

제안 방법

• 드롭아웃 없이 L2 노름 임계값 5로 기울기 클리핑을 수행하며, 2층의 LSTM을 문자 수준의 순차적 데이터(셰익스피어, 리눅스 커널, 펜 트리뱅크)에 대해 학습한다.
• 전방 필터링 후방 샘플링(FFBS)을 사용해 HMM의 은닉 상태를 샘플링하며, 전이 파라미터는 다항-디리클레 사후분포로, 발산 파라미터는 연속 HMM의 경우 정규-역와이시트 분포로 업데이트한다.
• LSTM 은닉 상태에 기반해 연속 발산 HMM을 학습하여 고수준 상태 동역학을 모델링하고, 원시 데이터에 직접 적용된 이산 발산 HMM을 비교 목적으로 학습한다.
• HMM 상태 분포를 LSTM 출력 레이어에 통합하여, LSTM이 HMM 예측을 활용해 갭을 메우고 강건성을 향상시킬 수 있도록 한다.
• 먼저 HMM을 학습한 후, HMM 상태 분포를 입력 특징으로 사용해 작은 LSTM을 미세조정하는 하이브리드 모델을 학습한다.
• HMM과 LSTM 구성 요소가 공유된 감독 하에 엔드 투 엔드로 함께 최적화되는 공동 최적화 하이브리드 모델을 학습한다.

실험 결과

연구 질문

• RQ1 LSTM 은닉 상태에 기반해 학습된 HMM이 텍스트의 순차적 패턴을 더 해석 가능한 방식으로 표현할 수 있는가?
• RQ2 HMM과 LSTM이 순차적 데이터에서 문장 부호, 공백, 주석 기호와 같은 보완적인 특징을 학습하는가?
• RQ3 HMM 상태 분포를 LSTM 출력에 통합함으로써 독립 모델 대비 예측 성능이 향상되는가?
• RQ4 하이브리드 아키텍처가 더 적은 파라미터로 더 높은 예측 가능성을 달성할 수 있는가?
• RQ5 HMM과 LSTM 상태의 시각화가 데이터 내에서 인간이 이해할 수 있는 의미 있는 해석 가능한 패턴을 드러내는 데 얼마나 기여하는가?

주요 결과

• 20개의 LSTM 차원과 10개의 HMM 상태를 사용한 하이브리드 HMM-LSTM 모델은 펜 트리뱅크에서 검증 예측 로그가능도 -1.97을 기록하여 동일한 크기의 독립 LSTM보다 뛰어난 성능을 보였다.
• 리눅스 커널 데이터셋에서 20개의 LSTM과 10개의 HMM 상태를 사용한 공동 하이브리드 모델은 검증 로그가능도 -1.90을 기록하여 독립 LSTM의 -1.88을 초월했다.
• 시각화 결과 HMM이 주석 기호와 들여쓰기 공백을 효과적으로 포착한 반면, LSTM은 문장 부호와 고음운 패턴을 식별함으로써 상보적인 학습이 이루어졌음을 확인했다.
• 5개의 LSTM 차원과 10개의 HMM 상태를 사용한 하이브리드 모델은 셰익스피어에서 검증 로그가능도 -2.30을 기록하여 5개 차원의 독립 LSTM(-2.41)보다 뛰어난 성능을 보였다.
• 20개의 LSTM과 10개의 HMM 상태를 사용한 펜 트리뱅크에서의 공동 하이브리드 모델은 검증 로그가능도 -1.71을 기록하여 테스트된 모든 모델 중 최고 성능을 기록했다.
• 개별 LSTM 은닉 상태 차원에 기반한 결정트리 분석 결과 특정 차원이 주석 문자와 문장 부호를 추적함을 확인하여, 명확한 해석 가능한 특징 학습이 이루어졌음을 입증했다.