[논문 리뷰] Visual Attribute-augmented Three-dimensional Convolutional Neural Network for Enhanced Human Action Recognition

Yunfeng Wang, Wengang Zhou외 2명|arXiv (Cornell University)|2018. 05. 08.

Human Pose and Action Recognition참고 문헌 18인용 수 5

한 줄 요약

이 논문은 2D CNN 기반의 시각적 속성 검출(예: 물체, 환경)을 이중 스트림 I3D 네트워크에 통합함으로써 인간 행동 인식을 향상시키는 시각적 속성 증강 3D CNN 프레임워크인 A3D를 제안한다. RGB 및 옵티컬 플로우 스트림의 시공간 특징을 임계치를 적용한 가중합산을 통해 속성 인식 예측과 융합함으로써 A3D는 UCF101(97.4%)과 HMDB51(80.5%)에서 최신 기술 수준의 정확도를 달성하며, I3D* 및 이전 방법들을 능가한다.

ABSTRACT

Visual attributes in individual video frames, such as the presence of characteristic objects and scenes, offer substantial information for action recognition in videos. With individual 2D video frame as input, visual attributes extraction could be achieved effectively and efficiently with more sophisticated convolutional neural network than current 3D CNNs with spatio-temporal filters, thanks to fewer parameters in 2D CNNs. In this paper, the integration of visual attributes (including detection, encoding and classification) into multi-stream 3D CNN is proposed for action recognition in trimmed videos, with the proposed visual Attribute-augmented 3D CNN (A3D) framework. The visual attribute pipeline includes an object detection network, an attributes encoding network and a classification network. Our proposed A3D framework achieves state-of-the-art performance on both the HMDB51 and the UCF101 datasets.

연구 동기 및 목표

• 행동 인식의 정확도를 향상시키기 위해 물체와 환경 같은 시각적 속성을 보조 정보로 통합한다.
• 행동 인식의 모호함을 해결하기 위해 '달로 연주하기'와 '탁바라 연주하기'를 구분하는 데 시각적 속성이 도움이 될 수 있도록 한다.
• 시공간 3D CNN 특징와 2D 기반의 시각적 속성 표현을 효과적으로 융합하는 다중 스트림 프레임워크를 설계한다.
• 효율적인 융합과 속성 파이프라인의 선택적 활성화를 통해 계산 오버헤드를 최소화하면서 성능 향상을 극대화한다.

제안 방법

• A3D 프레임워크는 RGB 및 옵티컬 플로우 입력을 처리하는 이중 스트림 I3D 3D CNN 파이프라인과 별도의 시각적 속성 파이프라인을 결합한다.
• 3D CNN 파이프라인은 수정된 초기 융합 전략을 사용한다: 공간 스트림과 시간 스트림의 완전 연결층에서 추출된 특징을 가중치(w1=0.6, w2=0.4)를 적용해 합산한 후 최종 소프트맥스 레이어 이전에 처리한다.
• 시각적 속성 파이프라인은 YOLO9000(Darknet-19)를 사용해 물체 검출을 수행한 후, Word2vec, NetVLAD 또는 평균 풀링을 통해 속성 인코딩을 수행한다.
• 검출된 속성에 대해 ResNet-152 분류기를 미세조정하여 보조 예측 p2를 생성한다.
• 최종 예측 p는 임계치를 적용한 가중합산을 통해 계산된다: p = p1 × I(p1−T) + p2 × I(T−p1), 여기서 I(x)는 지표 함수이며 T는 전역 임계치이다.
• 프레임워크는 Kinetics 사전 훈련된 I3D*에서 시작하여, UCF101 및 HMDB51에서 SGD와 학습률 감소를 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 검출된 물체와 환경 같은 시각적 속성이 모호한 영상 케이스에서 행동 인식 성능을 향상시킬 수 있는가?
• RQ2 3D CNN 특징의 초기 융합 방식이 정확도와 강건성 측면에서 후기 융합 방식보다 어떻게 다를까?
• RQ3 3D CNN 출력과 시각적 속성 예측을 융합하는 최적의 방법은 무엇인가? 이는 계산 비용을 크게 증가시키지 않으면서 인식 성능을 향상시킬 수 있는가?
• RQ4 Word2vec, NetVLAD, 평균 풀링과 같은 다양한 속성 인코딩 방법이 속성 파이프라인 성능에 어떤 영향을 미치는가?
• RQ5 3D CNN의 신뢰도가 낮을 때만 속성 파이프라인을 선택적으로 활성화하는 것이 성능에 어떤 영향을 미치는가?

주요 결과

• A3D 프레임워크는 UCF101과 HMDB51의 세 가지 분할 모두에서 최신 기술 수준의 정확도 97.4%와 80.5%를 달성하며, I3D* 기준선 및 이전 방법들을 능가한다.
• 3D CNN 파이프라인에서 수정된 초기 융합 전략이 UCF101(split1)에서 정확도를 97.09%까지 향상시켜 원래의 후기 융합 방법(95.67%)을 초월했다.
• 시각적 속성 파이프라인 자체는 UCF101(split1)에서 37.10%의 정확도를 기록했으며, 이는 속성 특징이 노이즈가 있음에도 불구하고 분류에 유의미한 정보를 지닌다는 것을 보여준다.
• 통합된 A3D 프레임워크는 UCF101에서 97.44%의 정확도, HMDB51에서 79.35%의 정확도를 달성했으며, p1과 p2를 임계치 기반 융합함으로써 성능 향상을 입증했다.
• A3D의 계산 오버헤드는 매우 낮으며, UCF101과 HMDB51에서 각각 I3D* 대비 훈련 시간이 8.76%와 6.71% 증가하는 데 그친다.
• 제거 실험 결과, 특히 '달로 연주하기'와 '탁바라 연주하기'처럼 모호한 경우에 시각적 속성이 혼동을 해소함으로써 속성 파이프라인이 최종 정확도에 의미 있는 기여를 한다는 것이 확인되었다.