[논문 리뷰] Hierarchical Multi-scale Attention Networks for Action Recognition

Shiyang Yan, Jeremy S. Smith외 2명|arXiv (Cornell University)|2017. 08. 25.

Human Pose and Action Recognition참고 문헌 19인용 수 5

한 줄 요약

이 논문은 계층적 다중 척도 RNN과 주의 메커니즘을 조합하여 영상 행동 인식 성능을 향상시키는 계층적 다중 척도 주의 네트워크(HM-AN)를 제안한다. Gumbel-softmax를 사용해 비가역적 하드 주의를 미분 가능하게 하고, 적응형 온도 스케줄링을 적용함으로써, HM-AN은 주의 기반 LSTM보다 우수한 성능을 보이며, HMDB51에서 44.2%의 정확도를 달성한다. 또한 시각화 결과는 학습된 시간적 경계와 동적 주의 영역을 확인할 수 있다.

ABSTRACT

Recurrent Neural Networks (RNNs) have been widely used in natural language processing and computer vision. Among them, the Hierarchical Multi-scale RNN (HM-RNN), a kind of multi-scale hierarchical RNN proposed recently, can learn the hierarchical temporal structure from data automatically. In this paper, we extend the work to solve the computer vision task of action recognition. However, in sequence-to-sequence models like RNN, it is normally very hard to discover the relationships between inputs and outputs given static inputs. As a solution, attention mechanism could be applied to extract the relevant information from input thus facilitating the modeling of input-output relationships. Based on these considerations, we propose a novel attention network, namely Hierarchical Multi-scale Attention Network (HM-AN), by combining the HM-RNN and the attention mechanism and apply it to action recognition. A newly proposed gradient estimation method for stochastic neurons, namely Gumbel-softmax, is exploited to implement the temporal boundary detectors and the stochastic hard attention mechanism. To amealiate the negative effect of sensitive temperature of the Gumbel-softmax, an adaptive temperature training method is applied to better the system performance. The experimental results demonstrate the improved effect of HM-AN over LSTM with attention on the vision task. Through visualization of what have been learnt by the networks, it can be observed that both the attention regions of images and the hierarchical temporal structure can be captured by HM-AN.

연구 동기 및 목표

• RNN을 사용하여 영상 행동 인식에서 복잡한 계층적 시간적 구조를 모델링하는 데 도전한다.
• 표준 RNN과 LSTM이 영상 작업에서 고정된 주의와 기울기 소실 문제를 겪는 한계를 극복한다.
• REINFORCE가 아닌 미분 가능한 Gumbel-softmax를 사용해 시각 작업에서 확률적 하드 주의를 구현함으로써 학습 안정성을 향상시킨다.
• 적응형 학습 방식을 통해 Gumbel-softmax의 온도 하이퍼파라미터에 대한 민감도를 감소시킨다.
• 표준 행동 인식 벤치마크에서 제안된 모델의 효과성을 검증하고, 해석 가능한 시각화를 통해 타당성을 입증한다.

제안 방법

• 영상 시퀀스의 다중 척도 시간적 의존성을 모델링하기 위해 계층적 다중 척도 RNN(HM-RNN)과 주의 메커니즘을 통합한다.
• 확률적 하드 주의 유닛을 미분 가능하게 학습하기 위해 Gumbel-softmax를 사용하여 이산 주의 결정을 통한 역전파를 허용한다.
• Gumbel-softmax의 온도 하이퍼파라미터에 대한 민감도를 줄이기 위해 적응형 온도 스케줄링 전략을 적용한다.
• 다양한 계층 수준에서 경계 검출기를 사용해 시간적 세그먼트 경계를 자동으로 학습한다.
• 비교 및 분석을 위해 소프트 주의(특징의 가중 융합)와 하드 주의(단일 영역에 집중)를 모두 구현한다.
• 공간 CNN 특징을 입력으로 사용하여 모델을 엔드 투 엔드로 학습하며, 주의와 경계 검출 기능을 함께 학습한다.

Figure 1: Network Structure: After the networks discover the implicit boundary relations of the multi-scale property, boundary detectors can set the networks into an explicit multi-scale architecture.

실험 결과

연구 질문

• RQ1 주어진 주의 메커니즘과 함께 계층적 다중 척도 RNN은 표준 LSTM보다 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 REINFORCE에 비해 Gumbel-softmax는 하드 주의의 효과적이고 안정적인 학습을 가능하게 하는가?
• RQ3 적응형 온도 스케줄링은 하드 주의에서 Gumbel-softmax의 성능과 수렴에 어떤 영향을 미치는가?
• RQ4 모델은 인간의 행동 인식과 일치하는 의미 있는 시간적 경계와 공간적 주의 영역을 학습할 수 있는가?
• RQ5 계층적 시간 모델링과 주의 메커니즘의 조합은 HMDB51와 UCF Sports와 같은 벤치마크 데이터셋에서 더 나은 일반화 성능을 이끌 수 있는가?

주요 결과

• Adaptive-Gumbel-Hard Attention 변형은 HMDB51 데이터셋에서 44.2%의 정확도를 달성하여, CHAM(43.4%)과 기본 LSTM을 포함한 모든 다른 RNN 기반 방법보다 뛰어난 성능을 보였다.
• UCF Sports 데이터셋에서 Adaptive-Gumbel-Hard Attention와 REINFORCE-Hard Attention 모두 소프트 주의를 능가하는 성능을 보였으며, 이는 미분 가능한 하드 주의가 향상된 성능을 제공했음을 시사한다.
• HMDB51와 올림픽 스포츠와 같은 더 큰 데이터셋에서는 REINFORCE-Hard Attention가 소프트 주의를 떨어뜨렸지만, Gumbel-softmax 기반 하드 주의는 더 낮은 기울기 분산으로 뛰어난 성능을 유지했다.
• 시각화 결과는 HM-AN이 시간에 따라 변화하는 동적 주의 영역을 학습하고 있음을 보여주며, 각 시간 단계에서 다른 공간적 집중 영역을 가지는 것으로 나타났다.
• 모델은 여러 층을 거쳐 계층적 시간 경계를 성공적으로 탐지하였으며, $z_1$, $z_2$, $z_3$는 서로 다른 시간 척도에서의 경계를 나타낸다.
• 적응형 온도 방식은 Gumbel-softmax의 하이퍼파라미터 조정에 대한 민감도를 효과적으로 완화하여 수동 검색의 필요성을 줄였다.

Figure 2: The attention mechanism: The soft attention assign weights on different locations of features using softmax whilst the values of hard attention map are either 1 or 0 which means only one important location is selected.