[논문 리뷰] CERN: Confidence-Energy Recurrent Network for Group Activity Recognition

Tianmin Shu, Siniša Todorović외 1명|arXiv (Cornell University)|2017. 04. 10.

Human Pose and Action Recognition참고 문헌 23인용 수 15

한 줄 요약

CERN는 표준 소프트맥스 출력을 예측 에너지와 신뢰도를 동시에 최소화하고 최대화하는 p-value를 활용한 에너지 레이어(EL)로 대체하는 Confidence-Energy Recurrent Network(CERN)을 제안한다. 이는 엔드 투 엔드 훈련을 가능하게 하고 불확실성 하에서 더 견고한 추론을 가능하게 한다. 바둑이 및 집단 활동 데이터셋에서 CERN는 최신 기술 수준의 정확도를 달성하며, CERN-2는 그룹 활동 인식에서 기존 기준 모델보다 최대 8.5% 향상된 성능을 보이며, 입력 변형에 대한 수치적 안정성도 뛰어나다.

ABSTRACT

This work is about recognizing human activities occurring in videos at distinct semantic levels, including individual actions, interactions, and group activities. The recognition is realized using a two-level hierarchy of Long Short-Term Memory (LSTM) networks, forming a feed-forward deep architecture, which can be trained end-to-end. In comparison with existing architectures of LSTMs, we make two key contributions giving the name to our approach as Confidence-Energy Recurrent Network -- CERN. First, instead of using the common softmax layer for prediction, we specify a novel energy layer (EL) for estimating the energy of our predictions. Second, rather than finding the common minimum-energy class assignment, which may be numerically unstable under uncertainty, we specify that the EL additionally computes the p-values of the solutions, and in this way estimates the most confident energy minimum. The evaluation on the Collective Activity and Volleyball datasets demonstrates: (i) advantages of our two contributions relative to the common softmax and energy-minimization formulations and (ii) a superior performance relative to the state-of-the-art approaches.

연구 동기 및 목표

• 입력 불확실성 하에서 계층적 LSTM 예측의 취약성을 해결하기 위해.
• 유사 에너지 솔루션이 다수 존재할 경우 에너지 기반 추론의 수치적 안정성을 향상시키기 위해.
• 예측의 신뢰도를 통계적 신뢰도(p-value)로 통합함으로써 예측 신뢰성을 향상시키기 위해.
• 에너지와 신뢰도를 통합하는 미분 가능한 에너지 레이어를 갖춘 계층적 LSTM 아키텍처의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 기존 소프트맥스 기반 및 표준 에너지 기반 LSTM 방법보다 그룹 활동 인식 작업에서 승리하기 위해.

제안 방법

• 두 수준의 LSTM 계층 구조의 출력부에 표준 소프트맥스 레이어를 대체하는 새로운 미분 가능한 에너지 레이어(EL)를 도입한다.
• 개별 동작, 상호작용, 이벤트 수준의 예측 간 상관관계를 포괄하는 에너지 함수를 정의한다.
• 예측의 신뢰도를 정량화하기 위해 피셔의 통합 검정 p-value를 사용하여 에너지 최소화 과정에서의 신뢰도 정규화를 가능하게 한다.
• p-value 제약 조건을 포함한 에너지 기반 손실 함수를 제안하여 수치적 안정성을 향상시킨다.
• 인간의 궤적을 기반으로 한 두 수준의 LSTM 아키텍처를 활용한다: 개별 동작을 위한 노드 LSTM, 상호작용을 위한 엣지 LSTM, 그리고 그룹 활동 분류를 위한 이벤트 LSTM.
• 양방향 LSTM과 최대 풀링(팀별 또는 전역 기준)을 사용하여 특징을 집계하며, CERN-2는 복잡한 그룹 활동 인식을 위해 이벤트 수준의 LSTM을 포함한다.

실험 결과

연구 질문

• RQ1 소프트맥스를 에너지 레이어로 대체하는 것이 입력 불확실성 하에서 그룹 활동 인식의 견고성을 향상시키는가?
• RQ2 p-value를 신뢰도 측정치로 통합하면 딥 순환 신경망에서 에너지 최소화의 수치적 안정성과 신뢰성이 향상되는가?
• RQ3 에너지 최소화와 동시에 신뢰도 최대화를 통한 동시 최적화가 기존 소프트맥스 기반 및 에너지 기반 기준 모델을 능가하는가?
• RQ4 이벤트 수준의 LSTM을 포함함으로써 복잡한 그룹 활동, 즉 단순한 개별 동작의 합이 아닌 활동의 인식이 어떻게 향상되는가?
• RQ5 제안된 신뢰도-에너지 정규화가 입력 왜곡 상황에서 추론의 안정성을 얼마나 향상시키는가?

주요 결과

• CERN-2는 바둑이 데이터셋에서 그룹 활동 인식에 대해 74.5%의 정확도를 달성하여 최고의 기준 모델(B3)보다 8.5% 높은 성능을 보였다.
• 집단 활동 데이터셋에서 CERN-1은 소프트맥스 출력을 사용하는 강력한 두 수준의 LSTM 기준 모델보다 더 높은 정확도를 달성하여 더 단순한 그룹 활동에서의 신뢰성 향상을 입증했다.
• 에너지 레이어 내 p-value 정규화는 바둑이 데이터셋에서 입력 궤적 손상 상황에서도 성능 저하가 감소함으로써 추론 안정성이 크게 향상됨을 보였다.
• 이벤트 수준의 LSTM을 포함한 CERN-2는 CERN-1보다 성능이 뛰어나, 그룹 이벤트를 별도의 수준으로 모델링함으로써 복잡하고 분해 불가능한 그룹 활동의 인식이 향상됨을 시사한다.
• 정성적 결과에서는 개별 동작 예측이 모호하거나 부정확할 경우 CERN의 추론이 소프트맥스 기반 모델보다 더 견고함을 보였다.
• p-value 정규화를 통한 에너지 기반 손실 함수는 엔드 투 엔드 훈련을 가능하게 하며, 다수의 저에너지 솔루션이 존재하는 모호한 경우에도 더 신뢰할 수 있는 예측을 이끌어낸다.