[논문 리뷰] AdapNet: Adaptability Decomposing Encoder-Decoder Network for Weakly Supervised Action Recognition and Localization

Xiaoyu Zhang, Changsheng Li외 4명|arXiv (Cornell University)|2019. 11. 27.

Human Pose and Action Recognition참고 문헌 59인용 수 8

한 줄 요약

AdapNet는 약간 잘라진 비디오에서 그대로 잘린 비디오로의 신뢰할 수 있는 지식 전이를 가능하게 하는 가소성 분해 기반의 새로운 인코더-디코더 네트워크를 제안한다. 이는 약간 잘린 비디오에서의 약한 감독된 행동 인식 및 국소화에 적합하다. 도메인 적응 가능한 특징과 도메인 특화된 특징을 분리하고, 시간 국소화에 双방향 포인트 프로세스를 사용함으로써, AdapNet은 비디오 수준의 레이블만을 사용하여 THUMOS14 및 ActivityNet1.3에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

The point process is a solid framework to model sequential data, such as videos, by exploring the underlying relevance. As a challenging problem for high-level video understanding, weakly supervised action recognition and localization in untrimmed videos has attracted intensive research attention. Knowledge transfer by leveraging the publicly available trimmed videos as external guidance is a promising attempt to make up for the coarse-grained video-level annotation and improve the generalization performance. However, unconstrained knowledge transfer may bring about irrelevant noise and jeopardize the learning model. This paper proposes a novel adaptability decomposing encoder-decoder network to transfer reliable knowledge between trimmed and untrimmed videos for action recognition and localization via bidirectional point process modeling, given only video-level annotations. By decomposing the original features into domain-adaptable and domain-specific ones based on their adaptability, trimmed-untrimmed knowledge transfer can be safely confined within a more coherent subspace. An encoder-decoder based structure is carefully designed and jointly optimized to facilitate effective action classification and temporal localization. Extensive experiments are conducted on two benchmark datasets (i.e., THUMOS14 and ActivityNet1.3), and experimental results clearly corroborate the efficacy of our method.

연구 동기 및 목표

• 비디오 수준의 레이블만 제공되는 약간 잘린 비디오에서의 약한 감독된 행동 인식 및 국소화 문제를 해결한다.
• 잘린 비디오에서 약간 잘린 비디오로의 제약 없는 지식 전이의 한계를 극복하여 관련 없는 노이즈를 유발하고 모델의 일반화 능력을 떨어뜨릴 수 있음을 방지한다.
• 도메인 적응 가능한 특징에 국한하여 지식 전이를 제한함으로써 신뢰할 수 있는 지식 전이를 보장하는 방법을 개발한다.
• 비디오 수준의 애너테이션만을 사용하여 약간 잘린 비디오에서 행동의 정확한 시간 국소화를 가능하게 한다.
• 삼중 코딩을 갖춘 인코더-디코더 구조를 통해 행동 분류와 시간 경계 검출을 동시에 최적화하는 통합 프레임워크를 설계한다.

제안 방법

• 잘린 비디오와 약간 잘린 비디오 도메인 간의 전이 가능성에 기반해 원본 비디오 특징을 도메인 적응 가능한 특징과 도메인 특화된 특징으로 분리하는 가소성 분해 기반 메커니즘을 제안한다.
• 공유 및 전용 인코더를 갖춘 삼중 코딩 아키텍처를 설계하여, 각각 도메인 적응 가능한 특징과 도메인 특화된 특징을 추출함으로써 특징의 분류 능력을 향상시킨다.
• 비디오 프레임을 정방향과 역방향 양 방향으로 탐색하는 이중 방향 포인트 프로세스 모델을 구현하여 행동 국소화를 위한 시간 경계 검출을 정밀하게 개선한다.
• 정보 손실 최소화를 위해 디코더 모듈을 통합하여 인코더-디코더 경로 전반에 걸쳐 공간적 및 시간적 관련성을 유지한다.
• 도메인 적응 가능성 손실($\mathcal{L}_{\mathrm{adp}}$)과 도메인 차이 손실($\mathcal{L}_{\mathrm{dif}}$)을 조합한 공동 최적화 손실을 제안하여 분해 과정을 안내하고 일반화 능력을 향상시킨다.
• 프레임 수준의 주의를 위해 자기주의적 표현을 활용하는 클래스별 지표로 다중 시야(Temporal Class Activation Mapping, T-CAM)를 사용한다.

실험 결과

연구 질문

• RQ1 특징의 가소성 분해가 약간 잘린 비디오로의 지식 전이 신뢰도를 향상시킬 수 있는가?
• RQ2 도메인 적응 가능한 특징과 도메인 특화된 특징을 분리하는 것이 비디오 수준의 감독만을 사용하는 약간 잘린 비디오에서의 행동 국소화 성능에 어떤 영향을 미치는가?
• RQ3 이중 방향 포인트 프로세스 모델링이 단일 방향 또는 비포인트 프로세스 접근 방식보다 시간 경계 검출에 얼마나 향상시키는가?
• RQ4 제안된 삼중 코딩을 갖춘 인코더-디코더 구조가 약한 감독 하에서 표준 네트워크보다 행동 분류 및 국소화 성능을 뛰어나게 할 수 있는가?
• RQ5 지난 감독 및 약한 감독 최신 기술 수준의 방법들과 비교할 때, 제안된 방법은 국소화 정확도와 도메인 이동에 대한 강건성 측면에서 어떻게 비교되는가?

주요 결과

• AdapNet은 THUMOS14 및 ActivityNet1.3 데이터셋에서 최신 기술 수준의 성능을 달성하여 기존의 약한 감독 기반 방법들을 능가하는 행동 국소화 성능을 보였다.
• 일부 완전 감독 기반 기준보다도 비교적 높거나 동일한 평균 평균 정밀도(mAP@IoU=0.5)를 달성하여, 약한 감독 하에서도 강력한 일반화 능력을 입증하였다.
• 제거 실험 결과 공유 및 전용 인코더 둘 다 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 저하됨을 보였다.
• RGB 및 옵티컬 플로우 특징을 모두 포함함으로써 정확도가 향상되었으며, 이는 다중 모odal 입력이 특징 분해에 유리함을 시사한다.
• 정성적 결과에서는 복잡한 배경, 큰 시점 변화, 유사한 행동 패턴이 존재하는 비디오에서도 AdapNet이 효과적으로 행동을 국소화하며, 경쟁 방법보다 더 적은 거짓 양성 결과를 보였다.
• TSRNet는 제약 없는 지식 전이로 인해 관련 없는 클립에서 거짓 양성 결과를 유발하는 반면, AdapNet은 의미적으로 일관된 하위공간에 지식 전이를 국한함으로써 더 정확하고 신뢰할 수 있는 국소화 결과를 도출하였다.