[논문 리뷰] Structure Inference Machines: Recurrent Neural Networks for Analyzing Relations in Group Activity Recognition

Zhiwei Deng, Arash Vahdat외 2명|arXiv (Cornell University)|2015. 11. 13.

Human Pose and Action Recognition인용 수 13

한 줄 요약

이 논문은 그룹 활동 인식을 위한 딥러닝과 구조적 추론을 통합한 순환 신경망 프레임워크인 구조 추론 기계(SIMs)를 제안한다. 장면 내 개인 간의 관계를 동적으로 결정하는 학습 가능한 게이트를 사용함으로써, SIMs는 반복적으로 행동 예측을 정밀화하고 시나리오 수준의 분류 성능을 향상시켜, Collective Activity 데이터셋에서 최신 기준 성능인 81.2%의 정확도를 달성하고, 개인 수준의 행동 인식에서 최대 10% 향상을 이룬다.

ABSTRACT

Rich semantic relations are important in a variety of visual recognition problems. As a concrete example, group activity recognition involves the interactions and relative spatial relations of a set of people in a scene. State of the art recognition methods center on deep learning approaches for training highly effective, complex classifiers for interpreting images. However, bridging the relatively low-level concepts output by these methods to interpret higher-level compositional scenes remains a challenge. Graphical models are a standard tool for this task. In this paper, we propose a method to integrate graphical models and deep neural networks into a joint framework. Instead of using a traditional inference method, we use a sequential inference modeled by a recurrent neural network. Beyond this, the appropriate structure for inference can be learned by imposing gates on edges between nodes. Empirical results on group activity recognition demonstrate the potential of this model to handle highly structured learning tasks.

연구 동기 및 목표

• 평면적 분류를 넘어서 복잡하고 조합적인 시각적 관계를 모델링하는 데 도전한다.
• 엔티티에 대한 구조적 추론을 가능하게 함으로써 저수준 딥 네트워크 출력과 고수준 시나리오 이해를 연결한다.
• 고정된 그래픽 모델과 전통적 추론의 한계를 극복하기 위해 메시지 전달 중에 적응형이고 동적인 구조를 학습한다.
• 노드 분류, 메시지 전달, 구조적 연결성을 게이팅을 통해 동시에 최적화하는 엔드 투 엔드 학습 가능한 프레임워크를 개발한다.
• 복잡하고 변수적인 그룹 상호작용을 보이는 실제 세계 데이터셋에서 이 방법의 유효성을 입증한다.

제안 방법

• 합성곱 신경망(CNN)의 출력을 반복적으로 추론하기 위해 순환 신경망(RNN)을 사용하며, 연결된 노드들로부터의 맥락을 기반으로 노드 예측을 개선한다.
• 노드 간 간선에 학습 가능한 게이트 함수를 도입하여 어떤 연결이 관련 있는지 결정함으로써, 추론 중에 동적 구조 학습이 가능하도록 한다.
• 결합 또는 별도의 가중치를 사용한 게이팅 메시지 전달을 적용하며, 게이트 값은 기울기 기반 최적화가 가능한 미분 가능한 함수로 계산된다.
• 백프로파게이션을 사용하여 전체 모델을 엔드 투 엔드로 학습함으로써 CNN 특징, 메시지 전달, 그리고 구조 게이트를 동시에 최적화한다.
• 각 반복이 연결된 노드들로부터의 맥락을 기반으로 노드 예측을 정밀화하는 단계의 시퀀스로 추론 과정을 정의한다.
• 기울기 기반 학습이 가능한 추론의 미분 가능한 근사치를 사용하여 메시지 가중치와 구조적 연결성 모두를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 네트워크 출력에 대해 구조적 추론을 수행하는 데에 순환 신경망이 효과적으로 사용될 수 있는가?
• RQ2 학습 가능한 게이트가 그룹 활동 인식에서 개인 간의 동적이고 작업에 특화된 관계를 얼마나 잘 모델링할 수 있는가?
• RQ3 딥 러닝과 그래픽 모델의 통합 프레임워크를 엔드 투 엔드로 학습할 경우, 전통적인 CRF나 SVM 기반 방법에 비해 정확도와 일반화 능력에서 어떤 차이를 보이는가?
• RQ4 그래픽 모델의 구조(즉, 어떤 노드들이 연결되어 있는지)를 학습할 수 있는 능력이 고정 또는 완전히 연결된 구조에 비해 성능 향상에 기여하는가?
• RQ5 이러한 방법은 다양한 복잡도와 노이즈 수준을 가진 그룹 상호작용을 보이는 다양한 데이터셋에 대해 얼마나 강건한가?

주요 결과

• 제안된 모델은 Collective Activity 데이터셋에서 81.2%의 정확도를 달성하여, Deep Struct. Model(80.6%) 및 Unified Tracking And Recognition(80.6%)와 같은 최신 기준 기법들을 초월했다.
• Collective Activity Extended 데이터셋에서, 게이팅 메시지 전달을 두 번 반복한 후 개인 수준의 행동 분류 정확도가 약 10% 향상되어 90.14%에 도달했다.
• 원래의 Collective Activity 데이터셋에서, 게이팅 연결을 사용한 메시지 전달을 세 번 반복한 후 개인 수준의 행동 분류 정확도가 6% 향상되었다.
• 게이팅 가중치의 사용은 뚜렷한 성능 향상을 이끌어냈다: 게이팅이 있는 별도의 가중치(untied weights)를 사용할 경우 81.22%의 정확도를 기록한 반면, 게이팅이 없는 별도의 가중치는 74.33%에 머물렀다.
• Nursing Home 데이터셋에서, 두 번의 반복 후 개인 수준의 행동 정확도가 4% 향상되어, 단순하고 예측 가능한 관계가 존재하는 상황에서도 일관된 성능 향상을 보였다.
• 시각화 결과는 모델이 유의미하고 비균일한 연결을 학습했음을 확인했으며, 잡음이 많거나 관련이 없는 관계를 걸러내면서도 같은 행동을 하는 개인 간의 핵심 상호작용을 유지했다.