[논문 리뷰] PIC: Permutation Invariant Convolution for Recognizing Long-range Activities

Noureldien Hussein, Efstratios Gavves외 1명|arXiv (Cornell University)|2020. 03. 18.

Human Pose and Action Recognition인용 수 9

한 줄 요약

이 논문은 장기적인 비디오 활동을 시간 순서에 관계없이 인variant하게 모델링하고, 계층적 추상화를 위해 국소적 연결성을 유지하며, 노이즈가 많고 긴 비디오에서 분류 가능한 시각적 단서를 탐지하기 위해 공유 가중치를 사용하는 새로운 신경층인 PIC (Permutation Invariant Convolution)을 제안한다. PIC는 Charades, Breakfast, MultiThumos에서 3D CNN에 비해 상당한 성능 향상을 보이며 최신 기술(SOTA)을 달성한다.

ABSTRACT

Neural operations as convolutions, self-attention, and vector aggregation are the go-to choices for recognizing short-range actions. However, they have three limitations in modeling long-range activities. This paper presents PIC, Permutation Invariant Convolution, a novel neural layer to model the temporal structure of long-range activities. It has three desirable properties. i. Unlike standard convolution, PIC is invariant to the temporal permutations of features within its receptive field, qualifying it to model the weak temporal structures. ii. Different from vector aggregation, PIC respects local connectivity, enabling it to learn long-range temporal abstractions using cascaded layers. iii. In contrast to self-attention, PIC uses shared weights, making it more capable of detecting the most discriminant visual evidence across long and noisy videos. We study the three properties of PIC and demonstrate its effectiveness in recognizing the long-range activities of Charades, Breakfast, and MultiThumos.

연구 동기 및 목표

• 시간 순서가 혼란스럽고 엄격하지 않은 장기적인 인간 활동을 모델링하는 데 있어 표준 컨볼루션, 자기주의(self-attention), 벡터 집약(Vector aggregation)의 한계를 해결하기 위해.
• 수신 영역 내 특징의 순서에 관계없이 불변인 신경층을 설계하여, 약한 순서가 있는 장기적인 시간적 구조를 모델링할 수 있도록 하기 위해.
• 연속된 레이어가 장기적인 활동의 깊이 있는 계층적 추상화를 학습할 수 있도록 국소적 연결성을 유지하기 위해.
• 공유 가중치(키-값 커널)를 사용하여 긴 노이즈가 많은 비디오 시퀀스에서 주목할 만한 시각적 증거를 향상시켜 탐지하기 위해.
• PIC가 기존의 3D CNN이 다양한 벤치마크 데이터셋에서 장기적인 활동을 효과적으로 인식할 수 있도록 할 수 있음을 보여주기 위해.

제안 방법

• PIC는 수신 영역 내 특징의 고정된, 순서에 민감하지 않은 표현을 계산하는 순서 불변 컨볼루션 연산을 도입한다.
• 모든 위치에 걸쳐 공유된 키 및 값 커널을 사용하여 파라미터 효율성과 노이즈 입력에 대한 강건성을 향상시킨다.
• 입력 특징의 순서에 관계없이 불변이 되도록 특징 창에 대해 학습 가능한 집약 함수를 적용한다.
• 슬라이딩 시간 창을 통해 동일한 연산을 적용함으로써 국소적 연결성을 유지하여, 스택된 레이어를 통한 계층적 특징 학습을 가능하게 한다.
• 3D CNN 기반 아키텍처에 통합되어 장기적인 비디오 데이터셋에서 행동 인식을 위한 엔드 투 엔드 학습이 수행된다.
• 여러 개의 PIC 레이어를 연결함으로써 다중 수준의 추상화를 학습할 수 있다: 초기 레이어는 세분화된 단위 행동을, 더 깊은 레이어는 세그먼트 수준의 상호작용을 학습한다.

실험 결과

연구 질문

• RQ1 수신 영역 내 특징의 시간 순서에 관계없이 불변이면서도, 계층적 학습을 위해 국소적 연결성을 유지할 수 있는 신경층을 설계할 수 있는가?
• RQ2 시간 모델링 레이어에서 공유 가중치를 사용할 경우, 비공유 주의 메커니즘에 비해 긴 노이즈가 많은 비디오에서 분류 가능한 시각적 증거 탐지에 어떤 영향을 미치는가?
• RQ3 표준 3D 컨볼루션, 자기주의, 벡터 집약에 비해 PIC는 장기적인 행동 인식 성능을 얼마나 향상시킬 수 있는가?
• RQ4 PIC는 '커피를 준비하는 것'이나 '🥞를 만드는 것'과 같은 약한 순서가 있는 장기적인 활동을 더 잘 모델링할 수 있는가?
• RQ5 PIC는 다양한 비디오 길이, 레이블 복잡도, 행동 조합을 가진 다양한 데이터셋에 일반화될 수 있는가?

주요 결과

• Breakfast 데이터셋에서 PIC는 89.84%의 정확도를 기록하여 Timeception(86.93%)과 Nonlocal(83.79%)을 크게 앞서며, 장기적이고 다중 단위 활동을 모델링하는 데 뛰어난 성능을 보였다.
• Charades에서 ResNet-101 기반 PIC는 43.8%의 mAP를 기록하여 이전 최고 성능인 42.5%(SlowFast-NL)를 초월하여, 다중 레이블, 복잡한 행동에서 강력한 성능을 보였다.
• MultiThumos에서 PIC는 78.31%의 mAP를 기록하여 Timeception(74.79%)과 기본 3D CNN(72.43%)를 모두 앞서며, 장기적이고 다중 레이블 비디오 시퀀스에서의 효과성을 확인했다.
• 시각화 결과에 따르면, 초기 PIC 레이어는 '倒기' 또는 '자르기'와 같은 행동에 종속되지 않는 세분화된 개념을 학습하는 반면, 더 깊은 레이어는 고차원의 활동 특화 상호작용을 학습한다.
• 제거 실험 결과, PIC의 세 가지 핵심 특성—순서 불변성, 국소적 연결성, 공유 가중치—모두 성능 향상에 필수적이며, 각각 고유하게 강건성과 정확도에 기여함을 확인했다.