[논문 리뷰] Action Segmentation with Joint Self-Supervised Temporal Domain Adaptation

Min-Hung Chen, Baopu Li외 3명|arXiv (Cornell University)|2020. 03. 05.

Human Pose and Action Recognition참고 문헌 46인용 수 12

한 줄 요약

이 논문은 자기지도 학습을 통한 시간적 도메인 적응(SSTDA)을 제안하며, 이는 이중 자기지도 보조 과제인 이진 도메인 예측 및 순차적 도메인 예측을 통해 지역적 및 전역적 시간 역학을 동시에 보정함으로써, 최소한의 레이블 데이터로 효과적인 동작 분할을 가능하게 한다. SSTDA는 GTEA, 50Salads, Breakfast에서 최신 기술 수준을 달성하여 F1@25 점수를 최대 9.5%포인트 향상시키고 기준 대비 레이블 데이터 요구량을 65%로 줄였다.

ABSTRACT

Despite the recent progress of fully-supervised action segmentation techniques, the performance is still not fully satisfactory. One main challenge is the problem of spatiotemporal variations (e.g. different people may perform the same activity in various ways). Therefore, we exploit unlabeled videos to address this problem by reformulating the action segmentation task as a cross-domain problem with domain discrepancy caused by spatio-temporal variations. To reduce the discrepancy, we propose Self-Supervised Temporal Domain Adaptation (SSTDA), which contains two self-supervised auxiliary tasks (binary and sequential domain prediction) to jointly align cross-domain feature spaces embedded with local and global temporal dynamics, achieving better performance than other Domain Adaptation (DA) approaches. On three challenging benchmark datasets (GTEA, 50Salads, and Breakfast), SSTDA outperforms the current state-of-the-art method by large margins (e.g. for the F1@25 score, from 59.6% to 69.1% on Breakfast, from 73.4% to 81.5% on 50Salads, and from 83.6% to 89.1% on GTEA), and requires only 65% of the labeled training data for comparable performance, demonstrating the usefulness of adapting to unlabeled target videos across variations. The source code is available at https://github.com/cmhungsteve/SSTDA.

연구 동기 및 목표

• 다른 개인과 영상 스타일 간의 시공간적 변동성 문제를 해결하기 위해 동작 분할에 도전한다.
• 이러한 변동성으로 인한 도메인 간 불일치를 추가 레이블 데이터 없이 줄인다.
• 자기지도 학습 기반 도메인 적응을 통해 레이블이 없는 타겟 영상만을 사용하여 동작 분할 성능을 향상시킨다.
• 전이 학습 설정에서 레이블이 있는 소스 도메인에서 학습된 모델을 레이블이 없는 타겟 도메인으로 효과적으로 전이할 수 있도록 한다.

제안 방법

• 전체적인 시간 역학을 모델링하기 위해, 정규화되지 않은 영상 클립에서 도메인의 순열을 예측하는 순차적 도메인 예측이라는 자기지도 보조 과제를 제안한다.
• 각 프레임이 소스 도메인 또는 타겟 도메인에서 유래되었는지 분류하는 이진 도메인 예측을 도입하여 지역 수준의 특징 분포를 정렬한다.
• 두 보조 과제를 함께 통합한 복합 적대적 학습 프레임워크를 통해 도메인 간 지역 및 전역 특징 공간을 동시에 정렬한다.
• MS-TCN 기반의 동작 분할 모델에 SSTDA를 통합하여, 도메인 불일치를 최소화하면서도 동작 인식 성능 유지를 위한 적대적 손실을 사용한다.
• 기울기 반전 레이어와 도메인 구분자들을 활용하여 도메인 불변 표현을 갖춘 엔드 투 엔드 학습을 가능하게 한다.
• 비전학습 설정에서 적용하여, 타겟 영상의 레이블 없이도 소스 모델을 타겟 도메인에 적응시킬 수 있도록 한다.

실험 결과

연구 질문

• RQ1 지역적 및 전역적 시간 역학을 모두 모델링하는 자기지도 보조 과제는 교차 도메인 동작 분할 성능을 향상시키는가?
• RQ2 지역 및 전역 시간 특징의 동시 정렬은 단일 수준의 정렬보다 더 나은 도메인 적응을 이끌어내는가?
• RQ3 레이블이 없는 타겟 영상 데이터를 활용하여 소스 도메인에서 학습된 모델이 최소한의 레이블 데이터로 타겟 도메인에 효과적으로 일반화되는가?
• RQ4 제안된 순차적 도메인 예측 과제는 도메인 내 순서만 모델링하는 기존 자기지도 방법보다 어떻게 비교되는가?

주요 결과

• SSTDA는 Breakfast 데이터셋에서 F1@25 점수 69.1%를 기록하여 이전 최신 기술 수준(59.6%)보다 9.5%포인트 향상시켰다.
• 50Salads에서 SSTDA는 F1@25 점수를 73.4%에서 81.5%로 향상시켜 높은 내부 클래스 변동성을 다루는 데서 두드러진 성과를 보였다.
• GTEA에서 SSTDA는 F1@25 점수를 83.6%에서 89.1%로 상승시켜 다양한 동작 패tern에 대한 강건성을 입증했다.
• 완전히 감독 학습 기반 기준 모델과 비교해도 레이블 학습 데이터의 65%만으로도 유사한 성능을 달성하여 데이터 효율성을 입증했다.
• 정성적 결과에서는 동시 정렬이 잘못된 양성 결과와 오분류를 줄이며, 예를 들어 '倒' 또는 '우유 저어주기' 동작의 잘못된 탐지와 같은 문제를 개선함을 보였다.
• 순차적 도메인 예측 과제가 VCOP와 같은 도메인 내 셔플링 방법보다 뛰어난 성능을 보이며, 교차 도메인 시간적 추론이 적응에 더 효과적임을 입증했다.