[논문 리뷰] Adversarial Background-Aware Loss for Weakly-supervised Temporal Activity Localization

Kyle Min, Jason J. Corso|arXiv (Cornell University)|2020. 07. 13.

Human Pose and Action Recognition참고 문헌 31인용 수 8

한 줄 요약

이 논문은 두 개의 트리플릿을 특성 공간에서 사용하여 클래스별 특성과 활동 관련 특성과 배경을 명시적으로 구분함으로써 특성의 분류 능력을 향상시키는 A2CL-PT라는 새로운 약한 지도 학습 기반 시간 활동 국소화 방법을 제안한다. 이는 국소화의 완전성을 향상시키기 위해 적대적 이중 브랜치 네트워크를 활용하며, IoU 임계값 0.1–0.9 범위에서 THUMOS14에서 30.0%의 새로운 최고 성능 mAP를 달 đạt한다.

ABSTRACT

Temporally localizing activities within untrimmed videos has been extensively studied in recent years. Despite recent advances, existing methods for weakly-supervised temporal activity localization struggle to recognize when an activity is not occurring. To address this issue, we propose a novel method named A2CL-PT. Two triplets of the feature space are considered in our approach: one triplet is used to learn discriminative features for each activity class, and the other one is used to distinguish the features where no activity occurs (i.e. background features) from activity-related features for each video. To further improve the performance, we build our network using two parallel branches which operate in an adversarial way: the first branch localizes the most salient activities of a video and the second one finds other supplementary activities from non-localized parts of the video. Extensive experiments performed on THUMOS14 and ActivityNet datasets demonstrate that our proposed method is effective. Specifically, the average mAP of IoU thresholds from 0.1 to 0.9 on the THUMOS14 dataset is significantly improved from 27.9% to 30.0%.

연구 동기 및 목표

• 활동이 발생하지 않을 때를 인식하지 못하는 약한 지도 학습 기반 시간 활동 국소화 모델의 한계를 해결하기 위해.
• 활동 관련 특성과는 별개로 배경 특성을 명시적으로 모델링하여 모델의 강건성을 향상시키기 위해.
• 보조 활동 세그먼트를 포착하기 위해 보완적인 활동 세그먼트를 포함하는 적대적 이중 브랜치 아키텍처를 도입함으로써 국소화의 완전성을 향상시키기 위해.
• 기존 방법들이 배경과 전경 활동 특성 간의 구분을 충분히 하지 못하는 단점을 보완하기 위해.
• 이중 트리플릿을 사용하여 특성의 분류 능력과 배경 인식 표현을 결합하는 손실 함수를 개발하기 위해.

제안 방법

• 이중 트리플릿 손실 메커니즘 제안: 하나의 트리플릿 (F, c, cₙ) 은 각 클래스별로 특성의 분류 능력을 향상시키기 위한 것이며, 다른 하나의 트리플릿 (c, F, f) 은 배경 특성(f)을 활동 특성(F)과 명시적으로 구분하기 위한 것이다.
• 영상 수준의 집계 특성(F)과 배경에 민감한 특성(f)을 사용하여 두 번째 트리플릿을 구성함으로써 명시적인 배경 모델링이 가능해진다.
• 한 브랜치는 주요 활동을 국소화하고, 다른 브랜치는 국소화되지 않은 영역에서 보조 활동을 식별하도록 하는 이중 브랜치 네트워크를 설계한다.
• 두 브랜치를 적대적으로 훈련시켜 상호 보완적인 학습을 유도하며, 가중치를 동적으로 조정하는 학습 가능한 파라미터 α를 통해 주의 힘을 조절한다.
• 변동 길이 영상 특성에 적합하게 조정된 각도 중심 손실(ATCL) 변형을 도입하여, 클래스 중심과 부정 중심을 사용해 특성 군집화를 향상시킨다.
• 하이퍼파라미터 ω를 사용해 두 브랜치의 T-CAM을 가중 혼합하며, 최적 성능을 위해 ω ≤ 1여야 한다.

실험 결과

연구 질문

• RQ1 배경 특성의 명시적 모델링이 약한 지도 학습 기반 시간 활동 국소화에 기여하는가?
• RQ2 두 개의 병렬 브랜치 간의 적대적 훈련이 국소화의 완전성과 정확도를 어떻게 향상시키는가?
• RQ3 이중 트리플릿 손실 구조가 특성의 분류 능력 향상과 배경 분리에 어떤 영향을 미치는가?
• RQ4 하이퍼파라미터 α와 ω는 두 적대적 브랜치 간의 성능 및 균형에 어떤 영향을 미치는가?
• RQ5 제안된 방법이 THUMOS14와 ActivityNet과 같은 표준 벤치마크에서 기존 최고 성능 방법을 초월하는가?

주요 결과

• A2CL-PT는 IoU 임계값 0.1–0.9 범위에서 THUMOS14 데이터셋에서 기존 작업의 27.9%에서 상승한 30.0%의 새로운 최고 성능 평균 mAP를 달달했다.
• 제거 실험 결과, 이중 트리플릿 손실과 적대적 훈련 구성 요소가 성능 향상에 크게 기여하며, 전체 방법이 제거된 변형보다 뛰어난 성능을 보였다.
• 양의 α 값은 일관되게 성능 향상을 이끌어내며, 두 브랜치의 T-CAM을 융합하는 주의 가중 혼합 메커니즘이 효과적임을 입증한다.
• ω > 1일 경우 성능이 저하되며, 이는 적대적 브랜치의 T-CAM이 지배해서는 안 되며, 보조 정보를 제공해야 함을 시사한다.
• 정성적 분석 결과, A2CL-PT는 모호한 경우(예: 투척으로 잘못 인식되는 점프 투척)에서 거짓 긍정을 줄이고, 애너테이션의 실제 오류를 정확히 식별하는 데 성공했다.
• A2CL-PT는 HighJump, JavelinThrow, HammerThrow와 같은 다양한 활동 클래스에 대해 잘 일반화되며, THUMOS14 테스트 세트에서 일관된 국소화 정확도를 유지했다.