[논문 리뷰] Learning long-term dependencies for action recognition with a biologically-inspired deep network

Yemin Shi, Yonghong Tian외 2명|arXiv (Cornell University)|2016. 11. 16.

Human Pose and Action Recognition참고 문헌 52인용 수 5

한 줄 요약

이 논문은 행동 인식 성능을 햖थ기 위해 피드포워드 및 피드백 연결을 갖춘 루프형으로 공유되는 프로세서를 도입한 생물학적으로 영감을 받은 딥 네트워크인 shuttleNet을 제안한다. CNN-RNN 프레임워크에 shuttleNet을 통합함으로써, 유사한 파라미터 수를 가진 LSTMs, GRUs 및 이전 방법들보다 우수한 성능을 내며 UCF101(95.4%)과 HMDB51(71.7%)에서 최신 기준 성능을 달성한다.

ABSTRACT

Despite a lot of research efforts devoted in recent years, how to efficiently learn long-term dependencies from sequences still remains a pretty challenging task. As one of the key models for sequence learning, recurrent neural network (RNN) and its variants such as long short term memory (LSTM) and gated recurrent unit (GRU) are still not powerful enough in practice. One possible reason is that they have only feedforward connections, which is different from the biological neural system that is typically composed of both feedforward and feedback connections. To address this problem, this paper proposes a biologically-inspired deep network, called shuttleNet\footnote{Our code is available at \url{https://github.com/shiyemin/shuttlenet}}. Technologically, the shuttleNet consists of several processors, each of which is a GRU while associated with multiple groups of cells and states. Unlike traditional RNNs, all processors inside shuttleNet are loop connected to mimic the brain's feedforward and feedback connections, in which they are shared across multiple pathways in the loop connection. Attention mechanism is then employed to select the best information flow pathway. Extensive experiments conducted on two benchmark datasets (i.e UCF101 and HMDB51) show that we can beat state-of-the-art methods by simply embedding shuttleNet into a CNN-RNN framework.

연구 동기 및 목표

• 비디오 시퀀스에서 장기 의존성을 학습하는 데 도전하는 것.
• 표준 RNN, LSTM, GRU가 생물학적 신경 시스템에서 관찰되는 피드백 연결이 부족한 점을 보완하는 것.
• 뇌의 피드포워드 및 피드백 연결 패턴을 모방한 딥 네트워크 아키텍처를 설계하는 것.
• 루프형 구조에서 여러 경로를 통해 프로세서를 공유함으로써 시퀀스 모델링의 효율성과 표현 능력을 향상시키는 것.
• 이러한 생물학적으로 영감을 받은 설계가 파라미터 수가 유사한 기존의 RNN 기반 모델보다 뛰어난 성능을 낼 수 있음을 입증하는 것.

제안 방법

• shuttleNet은 N개의 프로세서가 고리 형태로 배열되어 있으며, 각 프로세서는 게이팅된 순환 단위(Gated Recurrent Unit, GRU)로 구성되며, 간격 K로 연결되어 루프형 아키텍처를 형성한다.
• 각 프로세서는 D개의 셀과 상태 그룹과 연관되어 있어 루프를 따라 다중 정보 경로를 제공한다.
• 루프 연결은 피드포워드 및 피드백 경로의 조합을 만들어내며, 정보가 여러 시간 단계에 걸쳐 순환되고 처리될 수 있도록 한다.
• 네트워크는 N개의 경로를 동시에 처리하며, 각 프로세서는 자체 상태를 유지하면서도 경로 간에 가중치를 공유한다.
• 최종 예측을 위해 가장 정보가 풍부한 경로를 동적으로 선택하기 위해 주의 메커니즘(attention mechanism)이 적용된다.
• 아키텍처는 사전 훈련된 CNN(예: Inception-ResNet-v2)의 특징을 shuttleNet에 공급하여 시퀀스 모델링을 수행하는 CNN-RNN 프레임워크에 통합된다.

실험 결과

연구 질문

• RQ1 피드포워드 및 피드백 연결을 갖춘 생물학적으로 영감을 받은 딥 네트워크가 행동 인식에서 장기 시퀀스 모델링을 향상시킬 수 있는가?
• RQ2 루프형으로 프로세서를 공유하는 아키텍처가 표준 RNN보다 정보 흐름과 표현 학습을 향상시키는가?
• RQ3 유사한 파라미터 수를 가진 네트워크가 LSTMs와 GRUs를 초월할 수 있는가?
• RQ4 주의 메커니즘이 shuttleNet 아키텍처에서 최적의 경로를 선택하는 데 어떤 기여를 하는가?
• RQ5 shuttleNet 프레임워크는 MIFS와 같은 수작업 특징과 함께 작은 데이터셋(HMDB51)에 효과적으로 적용될 수 있는가?

주요 결과

• shuttleNet은 UCF101에서 95.4%의 정확도를 달성하여 이전 최신 기준 성능 모델(Three-stream TSN, 94.2%)을 뛰어넘고, 이중 스트림 ConvNet보다 7.4%포인트 높은 성능을 보였다.
• HMDB51에서는 71.7%의 정확도를 기록하여 MIFS(65.1%)와 TSN(69.4%)를 크게 앞서며, 작고 도전적인 데이터셋에서도 뛰어난 성능을 보였다.
• 2-프로세서-2-스텝 shuttleNet 변종은 UCF101에서 91.94%의 정확도를 달성하여, 최소한의 복잡성으로도 루프형 아키텍처의 효과성을 입증했다.
• Inception-ResNet-v2를 기본 네트워크로 사용할 경우 GoogLeNet보다 2% 높은 정확도를 기록하여, 더 강력한 백본과 함께 shuttleNet이 확장 가능함을 보여주었다.
• MIFS와의 후기 융합은 HMDB51에서 성능 향상을 이끌어내어, 딥 특징과 수작업 특징 간의 상호보완성을 확인했다.
• 모델의 병렬 처리 가능한 설계 덕분에 효율적인 계산이 가능하며, 각 프로세서가 매 시간 단계에서 독립적으로 작동하므로 하드웨어 가속을 지원한다.