[논문 리뷰] Input-Cell Attention Reduces Vanishing Saliency of Recurrent Neural Networks

Aya Abdelsalam Ismail, Mohamed K. Gunady외 3명|arXiv (Cornell University)|2019. 10. 27.

Cell Image Analysis Techniques참고 문헌 35인용 수 19

한 줄 요약

이 논문은 현재 및 과거 시간 단계의 입력 벡터에 대한 주의를 가능하게 하는 새로운 RNN 셀 아키텍처인 입력 셀 주의를 제안한다. 이는 흐려지는 민감도 문제를 완화함으로써 시간에 따라 민감도를 유지하게 하여, 중요 기능의 탐지 정확도를 높인다. 학습 가능한 주의 행렬을 통해 관련된 이전 입력을 주시함으로써, 이 방법은 시간에 걸쳐 민감도를 유지하며, 중요 기능의 탐지가 시간적 위치에 관계없이 정확하게 이루어지게 한다. 이는 합성 데이터와 fMRI 시계열 데이터에서 입증되었으며, 표준 RNN은 초기 민감도 기능을 탐지하지 못하는 데에 실패한다.

ABSTRACT

Recent efforts to improve the interpretability of deep neural networks use saliency to characterize the importance of input features to predictions made by models. Work on interpretability using saliency-based methods on Recurrent Neural Networks (RNNs) has mostly targeted language tasks, and their applicability to time series data is less understood. In this work we analyze saliency-based methods for RNNs, both classical and gated cell architectures. We show that RNN saliency vanishes over time, biasing detection of salient features only to later time steps and are, therefore, incapable of reliably detecting important features at arbitrary time intervals. To address this vanishing saliency problem, we propose a novel RNN cell structure (input-cell attention), which can extend any RNN cell architecture. At each time step, instead of only looking at the current input vector, input-cell attention uses a fixed-size matrix embedding, each row of the matrix attending to different inputs from current or previous time steps. Using synthetic data, we show that the saliency map produced by the input-cell attention RNN is able to faithfully detect important features regardless of their occurrence in time. We also apply the input-cell attention RNN on a neuroscience task analyzing functional Magnetic Resonance Imaging (fMRI) data for human subjects performing a variety of tasks. In this case, we use saliency to characterize brain regions (input features) for which activity is important to distinguish between tasks. We show that standard RNN architectures are only capable of detecting important brain regions in the last few time steps of the fMRI data, while the input-cell attention model is able to detect important brain region activity across time without latter time step biases.

연구 동기 및 목표

• RNN, 특히 LSTMs에서 민감도 맵이 시간이 지남에 따라 흐려지기 때문에, 후기 시간 단계에 더 편향된 탐지가 일어나는 이유를 조사하는 것.
• 기존의 민감도 기반 설명 가능성 방법의 한계를 해결하기 위해, 모든 시간 간격 동안 기능 중요도를 유지하는 메커니즘을 제안하는 것.
• 제안된 입력 셀 주의 메커니즘을 합성 시계열과 실제 fMRI 데이터에 적용하여, 신경과학 분야에서의 개선된 설명 가능성 능력을 평가하는 것.
• 표준 RNN이 초기 시간 단계의 민감도 기능을 탐지하지 못하는 반면, 제안된 방법이 전체 시퀀스에 걸쳐 일관된 민감도 탐지 능력을 유지함을 보여주는 것.

제안 방법

• 학습 가능한 주의 행렬을 통해 현재 및 이전 시간 단계의 입력 벡터에 주의를 기울이는 입력 셀 주의 메커니즘을 통합한 수정된 LSTM 셀을 도입한다.
• 각 시간 단계에서 입력 시퀀스가 고정 크기의 행렬로 투영되며, 이 입력들에 대해 주의 메커니즘이 가중치를 계산하여 가중치가 부여된 표현을 형성한다.
• 가중치가 부여된 입력 행렬은 표준 LSTM 셀의 입력으로 사용되며, 이로써 네트워크는 시간에 따라 민감도 있는 기능에 동적으로 주의를 기울일 수 있다.
• 주의 메커니즘은 미분 가능하며 엔드 투 엔드 학습이 가능하여, RNN과 주의 구성 요소를 함께 최적화할 수 있다.
• 이 방법은 아키텍처에 종속되지 않으며, RNN 또는 LSTM의 어떤 변형에도 입력 처리 단계를 주의 메커니즘으로 대체함으로써 적용 가능하다.
• 기능 중요도는 기울기 기반 방법(예: 통합 기울기)을 통해 계산되어 시간에 따라 기능 중요도를 해석한다.

실험 결과

연구 질문

• RQ1 표준 RNN, 특히 LSTMs에서 민감도가 시간이 지남에 따라 흐려지며, 이로 인해 후기 시간 단계에서 중요한 기능의 탐지에 편향이 생기나?
• RQ2 시간 단계에 걸친 입력 벡터에 주의 메커니즘을 적용하면 RNN에서 흐려지는 민감도 문제를 완화할 수 있는가?
• RQ3 입력 셀 주의는 시계열 데이터에서 민감도를 시간에 걸쳐 유지하는 데 있어 자기 주의(self-attention) 및 기타 주의 메커니즘과 비교해 어떻게 성능을 내는가?
• RQ4 입력 셀 주의는 fMRI 기반 작업 분류와 같은 실제 신경과학 응용 분야에서 설명 가능성 향상에 기여하는가?

주요 결과

• 표준 LSTMs는 시간이 지남에 따라 민감도 감소가 심해지며, 기능 중요도 점수가 후기 시간 단계에서 현저히 높아져 민감도 기능 탐지에 편향이 생긴다.
• 제안된 입력 셀 주의 메커니즘은 모든 시간 단계에 걸쳐 민감도를 성공적으로 유지하며, 합성 시계열에서 중요 기능의 탐지가 시간적 위치에 관계없이 신뢰성 있게 이루어짐을 보여준다.
• MNIST-as-time-series 작업에서 입력 셀 주의는 모든 시간 단계에서 민감도 값을 회복하지만, 바닐라 LSTMs는 시간이 지남에 따라 민감도가 지속적으로 감소함을 보였다.
• 인간 연결성 프로젝트(Human Connectome Project)의 fMRI 데이터에서 표준 LSTMs는 오직 최종 시간 단계에서만 중요한 뇌 영역을 탐지하는 반면, 입력 셀 주의는 전체 작업 시퀀스 동안 민감도 있는 뇌 영역을 식별한다.
• 민감도 기능을 제거했을 때, 표준 LSTMs의 정확도는 상위 10퍼센트 민감도 기능을 제거해도 오직 2퍼센트 감소하는 등 낮은 신뢰성을 보이며, 반면 입력 셀 주의는 9.5퍼센트 감소함으로써 더 정확한 민감도 탐지 능력을 확인한다.
• 표준 LSTMs가 식별한 상위 10퍼센트 민감도 기능의 70퍼센트 이상이 작업 외부 기간에서 유래한 것으로 나타나, 후기이자 정보가 없는 시간 단계에 편향되어 있음을 시사한다.