[논문 리뷰] Adding Attentiveness to the Neurons in Recurrent Neural Networks

Pengfei Zhang, Jianru Xue외 4명|arXiv (Cornell University)|2018. 07. 12.

Human Pose and Action Recognition참고 문헌 43인용 수 8

한 줄 요약

이 논문은 뉴런 수준에서 입력 벡터의 각 요소에 대해 주의 메커니즘을 적용할 수 있도록 하는 간단하면서도 효과적인 기법인 요소별 주의 게이트(Element-wise-Attention Gate, EleAttG)를 제안한다. 이 기법은 GRU, LSTM 또는 표준 RNN 등의 RNN 블록에 적용되어 3D 스켈레톤 및 RGB 비디오 데이터에서 행동 인식 작업에서 수렴 속도 향상과 성능 향상을 이끌어내며, NTU, N-UCLA 및 SYSU 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Recurrent neural networks (RNNs) are capable of modeling the temporal dynamics of complex sequential information. However, the structures of existing RNN neurons mainly focus on controlling the contributions of current and historical information but do not explore the different importance levels of different elements in an input vector of a time slot. We propose adding a simple yet effective Element-wiseAttention Gate (EleAttG) to an RNN block (e.g., all RNN neurons in a network layer) that empowers the RNN neurons to have the attentiveness capability. For an RNN block, an EleAttG is added to adaptively modulate the input by assigning different levels of importance, i.e., attention, to each element/dimension of the input. We refer to an RNN block equipped with an EleAttG as an EleAtt-RNN block. Specifically, the modulation of the input is content adaptive and is performed at fine granularity, being element-wise rather than input-wise. The proposed EleAttG, as an additional fundamental unit, is general and can be applied to any RNN structures, e.g., standard RNN, Long Short-Term Memory (LSTM), or Gated Recurrent Unit (GRU). We demonstrate the effectiveness of the proposed EleAtt-RNN by applying it to the action recognition tasks on both 3D human skeleton data and RGB videos. Experiments show that adding attentiveness through EleAttGs to RNN blocks significantly boosts the power of RNNs.

연구 동기 및 목표

• 시간 단계에 따라 입력 벡터 요소들의 중요도 변화를 잘 포착하지 못하는 기존 RNN의 한계를 해결한다.
• 요소 수준에서 세밀하고 콘텐츠 적응형 주의 메커니즘을 도입하여 RNN의 선택적 주의 집중 능력을 향상시킨다.
• 모든 RNN 아키텍처(예: GRU, LSTM, 표준 RNN)에 쉽게 통합할 수 있는 일반 목적의, 아키텍처에 종속되지 않는 주의 모듈을 개발한다.
• 다양한 순차 모델링 작업, 특히 3D 스켈레톤 및 RGB 비디오를 사용한 행동 인식에서 제안된 기법의 유효성을 입증한다.
• 유사한 파rameter 예산 하에서 모델의 깊이나 너비를 늘리는 것보다 입력 수준에 주의를 도입하는 것이 더 효과적임을 보여준다.

제안 방법

• 입력 벡터와 동일한 차원을 가지는 주의 벡터를 생성하는 학습 가능한 모듈인 요소별 주의 게이트(Element-wise-Attention Gate, EleAttG)를 제안한다.
• RNN 블록이 처리하기 전에 입력 벡터를 요소별로 조절하기 위해 EleAttG를 적용하며, 합이 1이 되는 제약 조건을 피하기 위해 시그모이드 활성화 함수를 사용한다.
• GRU, LSTM, 표준 RNN 등의 RNN 블록에 EleAttG를 통합하여, 여러 층으로 스택할 수 있는 새로운 아키텍처인 EleAtt-RNN을 구성한다.
• 다음 RNN 계산에 사용되는 조정된 입력 $\widetilde{\mathbf{x}}_t = \text{EleAttG}(\mathbf{x}_t) \odot \mathbf{x}_t$ 를 통해 동적이고 입력에 의존하는 주의 메커니즘을 구현한다.
• 전체 네트워크를 표준 backpropagation로 엔드 투 엔드로 훈련하며, 주의 가중치는 최적화 과정에서 함께 학습된다.
• 상호 억제를 방지하기 위해 EleAttG에서 Softmax를 사용하지 않고, 독립적인 주의 스케일링을 위해 시그모이드를 사용한다.

실험 결과

연구 질문

• RQ1 입력 수준에서 요소별 주의를 도입하면 순차 모델링 작업에서 RNN의 표현 능력 향상에 기여하는가?
• RQ2 제안된 EleAttG 기법은 표준 RNN 변종 대비 행동 인식에서 더 빠른 수렴과 더 나은 일반화 성능을 보이는가?
• RQ3 EleAttG에서 합이 1이 되는 제약 조건이 없을 경우, 정규화를 강제로 적용하는 주의 메커니즘과 비교해 성능에 어떤 영향을 미치는가?
• RQ4 파rameter 수를 동일하게 유지할 경우, 네트워크의 깊이나 너비를 늘리는 것보다 제안된 주의 메커니즘이 더 효과적인가?
• RQ5 EleAttG는 GRU, LSTM, 표준 RNN 등의 다양한 RNN 아키텍처에 일반적으로 적용되어 일관된 성능 향상을 이끌 수 있는가?

주요 결과

• EleAtt-GRU 모델은 3D 스켈레톤 기반 행동 인식에서 NTU, N-UCLA 및 SYSU 데이터셋에서 최신 기준 성능을 달성하며, 기준 GRU 모델을 능가한다.
• NTU 데이터셋에서 2층, 각 층에 100개의 뉴런을 가진 EleAtt-GRU는 CV 프로토콜 하에서 85.5%의 정확도를 기록하여 기준 2-GRU(100) 모델 대비 4.1% 향상된 성능을 보였다.
• RGB 비디오 행동 인식에서 EleAtt-GRU는 JHMDB 및 NTU 데이터셋 모두에서 뚜렷한 성능 향상을 보이며, 다양한 데이터 모odal 간의 일반화 능력을 입증했다.
• 실험 결과, EleAttG에서 Softmax 대신 시그모이드를 사용할 경우 더 높은 성능을 기록했으며, 두 번째 GRU 레이어에 적용했을 때 NTU 데이터셋에서 CV 프로토콜 하에 3.5%의 정확도 향상이 있었다.
• 유사한 파rameter 수를 가진 조건에서 EleAttG를 추가하는 것보다 뉴런 수나 층 수를 늘리는 것이 더 효과적이며, 2-EleAtt-GRU(100)은 2-GRU(100) 대비 3.1~4.1%의 정확도 향상을 보였다.
• 훈련 손실 곡선 분석 결과, EleAtt-GRU는 기준 GRU 대비 더 빠른 수렴과 낮은 최종 손실을 기록하여 최적화 다이내믹스 향상이 확인되었다.