[논문 리뷰] Learning with Interpretable Structure from RNN.

Bojian Hou, Zhi‐Hua Zhou|arXiv (Cornell University)|2018. 10. 25.

Machine Learning and Algorithms참고 문헌 31인용 수 22

한 줄 요약

이 논문은 게이트가 있는 순환 신경망(RNN)의 은닉 상태에서 해석 가능한 유한 상태 오토마타(FSA)를 학습하기 위해 두 가지 클러스터링 기반 방법을 제안한다. 이를 통해 RNN의 동작에 대한 더 명확한 통찰을 확보할 수 있다. 결과적으로 도출된 FSA 모델은 RNN보다 더 해석 가능하고 신뢰할 수 있으며, 특히 안전이 중요한 응용 분야에서 유용하다. 또한 RNN 내부의 의미적 상태 집합화와 내재된 텍스트 분류 메커니즘을 드러낸다.

ABSTRACT

The interpretability of deep learning models has raised extended attention these years. It will be beneficial if we can learn an interpretable structure from deep learning models. In this paper, we focus on Recurrent Neural Networks~(RNNs) especially gated RNNs whose inner mechanism is still not clearly understood. We find that Finite State Automaton~(FSA) that processes sequential data has more interpretable inner mechanism according to the definition of interpretability and can be learned from RNNs as the interpretable structure. We propose two methods to learn FSA from RNN based on two different clustering methods. With the learned FSA and via experiments on artificial and real datasets, we find that FSA is more trustable than the RNN from which it learned, which gives FSA a chance to substitute RNNs in applications involving humans' lives or dangerous facilities. Besides, we analyze how the number of gates affects the performance of RNN. Our result suggests that gate in RNN is important but the less the better, which could be a guidance to design other RNNs. Finally, we observe that the FSA learned from RNN gives semantic aggregated states and its transition graph shows us a very interesting vision of how RNNs intrinsically handle text classification tasks.

연구 동기 및 목표

• 게이트가 있는 RNN의 내부 메커니즘이 아직 잘 이해되지 않은 점을 개선하기 위해 가시성을 높이기 위해.
• RNN에서 학습할 수 있는 더 해석 가능한 구조적 추상화인 유한 상태 오토마타(FSA)를 식별하기 위해.
• 학습된 FSA가 인간이 개입하는 시스템이나 안전이 중요한 응용 분야에서 RNN의 신뢰할 수 있는 대체 수 Mittel이 될 수 있는지 평가하기 위해.
• RNN 성능과 해석 가능성에 미치는 게이트 수의 영향을 조사하기 위해.
• 학습된 FSA의 전이 그래프를 통해 RNN의 내재된 의미론적 및 구조적 행동을 분석하기 위해.

제안 방법

• RNN의 은닉 상태에 k-means 클러스터링을 적용하여 유사한 상태를 FSA 상태로 묶고, 상태 분할을 형성한다.
• 계층적 클러스터링을 사용하여 RNN의 은닉 상태를 FSA 상태로 묶어 더 체계적인 상태 추상화를 가능하게 한다.
• RNN에서 관찰된 클러스터 할당과 전이 확률을 기반으로 FSA 전이 그래프를 구성한다.
• 감독 학습 목표를 사용해 FSA를 원래 모델의 출력 행동을 모방하도록 훈련시켜 기존 모델에 대한 충실도를 확보한다.
• FSA의 전이 그래프와 상태 구조를 활용해 RNN이 순차적 데이터를 어떻게 처리하고 텍스트 분류를 수행하는지 분석한다.
• 인공 및 실제 데이터셋에서 원래 RNN과 비교해 FSA의 성능과 해석 가능성에 대해 평가한다.

실험 결과

연구 질문

• RQ1 게이트가 있는 RNN의 은닉 상태에서 클러스터링 기법을 사용해 해석 가능한 유한 상태 오토마타(FSA)를 효과적으로 학습할 수 있는가?
• RQ2 텍스트 분류 과제에서 학습된 FSA의 성능와 해석 가능성은 원래 RNN에 비해 어떻게 비교되는가?
• RQ3 RNN의 게이트 수가 전체 성능와 해석 가능한 구조의 학습 가능성에 어떤 영향을 미치는가?
• RQ4 학습된 FSA의 전이 패턴과 집합된 상태는 RNN이 순서 기반 데이터를 처리하는 방식에 대해 의미 있는 의미론적 또는 구조적 통찰을 드러내는가?
• RQ5 인간의 감시나 안전이 중요한 시스템에 포함된 응용 분야에서 FSA가 신뢰할 수 있고 안정적인 RNN 대체 수 Mittel이 될 수 있는가?

주요 결과

• 학습된 FSA 모델은 원래 RNN보다 더 해석 가능하고 신뢰할 수 있어, 안전이 중요한 또는 인간이 개입하는 응용 분야에 배포하기에 적합하다.
• FSA는 의미론적 집합 상태를 포착하고 있어, RNN이 입력 순서를 의미 있는 의미적 카테고리로 암묵적으로 그룹화하고 있음을 시사한다.
• FSA 전이 그래프는 RNN이 순차적 데이터를 처리하고 분류하는 방식에 대해 체계적이고 계층적인 시각을 제공하며, 내부 논리에 대한 통찰을 제공한다.
• RNN의 게이트 수는 성능에 상당한 영향을 미치며, 결과적으로 적은 수의 게이트가 더 나은 해석 가능성과 성능을 유도함을 시사한다. 이는 복잡성과 명확성 사이의 상충 관계를 의미한다.
• RNN에서 유도된 FSA는 인공적 데이터와 실제 데이터셋 모두에서 경쟁적인 성능를 보이며, 기존 모델에 대한 충실도와 유용성을 검증한다.
• 클러스터링 기반의 FSA 학습 방법은 복잡한 RNN 동역학에서 인간이 읽을 수 있는 구조를 성공적으로 추출하여 모델의 투명성을 향상시켰다.