[논문 리뷰] Auto-Encoding Score Distribution Regression for Action Quality Assessment

Boyu Zhang, Jiayuan Chen외 4명|arXiv (Cornell University)|2021. 11. 22.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 변분 추론을 사용하여 액션 스코어를 학습된 확률 분포로 모델링함으로써 액션 품질 평가(AQA)를 위한 플러그-앤플레이 어림불러운 회귀 모듈인 분포 자동에코더(DAE)를 제안한다. 재파arameterization을 통한 샘플링을 통해 비디오 특징을 분포로 인코딩함으로써 DAE는 예측 정확도와 불확실성 추정을 향상시키며, AQA-7, MTL-AQA, JIGSAWS에서 최신 기술 수준(SOTA) 성능을 달성하면서도 유의미한 추론 시간 오버헤드 없이 구현된다.

ABSTRACT

The action quality assessment (AQA) of videos is a challenging vision task since the relation between videos and action scores is difficult to model. Thus, AQA has been widely studied in the literature. Traditionally, AQA is treated as a regression problem to learn the underlying mappings between videos and action scores. But previous methods ignored data uncertainty in AQA dataset. To address aleatoric uncertainty, we further develop a plug-and-play module Distribution Auto-Encoder (DAE). Specifically, it encodes videos into distributions and uses the reparameterization trick in variational auto-encoders (VAE) to sample scores, which establishes a more accurate mapping between videos and scores. Meanwhile, a likelihood loss is used to learn the uncertainty parameters. We plug our DAE approach into MUSDL and CoRe. Experimental results on public datasets demonstrate that our method achieves state-of-the-art on AQA-7, MTL-AQA, and JIGSAWS datasets. Our code is available at https://github.com/InfoX-SEU/DAE-AQA.

연구 동기 및 목표

• 인간 애너테이션 스코어에서 암시된 알레아토릭 불확실성을 忽시하는 전통적 AQA 방법의 한계를 해결하기 위해.
• 단일 스칼라 값이 아닌 액션 스코어에 대한 분포를 학습하여 인간 판단의 본질적 변동성을 모델링하기 위해.
• 기존의 회귀 기반 AQA 프레임워크에 아키텍처의 대대적 개편 없이도 통합 가능한 일반화된 플러그-앤플레이 모듈을 개발하기 위해.
• 학습된 분산을 통한 불확실성 정량화를 통해 예측의 견고성과 해석 가능성을 향상시키기 위해.

제안 방법

• DAE는 비디오 특징를 매개변수화된 확률 분포(예: 가우시안)로 매핑하기 위해 변분 오토에코더 기반 아키텍처를 사용한다.
• 에코더는 스코어 분포의 평균과 분산을 출력하며, 재파라미터화 기법을 통해 미분 가능한 샘플링을 가능하게 하여 엔드 투 엔드 학습을 지원한다.
• 재구성 및 감독 항목을 결합한 새로운 가능도 기반 손실 함수를 도입하여 분포 매개변수와 예측 정확도를 동시에 최적화한다.
• 플러그-앤플레이 설계를 통해 기존 AQA 모델(MUSDL, CoRe, MLP 기반 베이스라인)에 통합된다.
• 모델은 감독 손실과 재구성 손실의 가중 조합을 사용하여 훈련되며, 이는 적응형 불확실성 추정을 가능하게 한다.
• DAE는 AQA-7, MTL-AQA, JIGSAWS의 세 개의 공개 데이터셋에서 평가되며, 손실 구성 요소와 추론 효율성에 대한 분석도 함께 수행된다.

Figure 1: Different actions have dissimilar aleatoric uncertainty when scored by the judges. Aleatoric uncertainty in DAE can be modeled as specific target distribution. e.g. Gaussian distribution. Our DAE achieves better performance since it can learn the adaptive variance from the data.

실험 결과

연구 질문

• RQ1 점 추정 대비 확률 분포로 액션 스코어를 모델링할 경우 AQA에서 회귀 성능이 향상되는가?
• RQ2 학습 가능한 분포가 인간 애너테이션 비디오 스코어에 내재된 알레아토릭 불확실성을 얼마나 효과적으로 포착하는가?
• RQ3 제안된 DAE 모듈이 다양한 AQA 아키텍처와 데이터셋에 일반화되는가?
• RQ4 제안된 가능도 손실 함수가 불확실성 추정과 모델 안정성에 어떤 영향을 미치는가?
• RQ5 DAE의 추론 시간은 기준 회귀 모델 대비 어떻게 되는가?

주요 결과

• DAE는 AQA-7, MTL-AQA, JIGSAWS에서 최신 기술 수준 성능을 달성하였으며, MTL-AQA에서 기준 모델 대비 6.1% 상대적 향상률을 기록했다.
• 제안된 가능도 손실은 표준 MSE 손실보다 우수한 성능을 보였으며, MTL-AQA에서 스피어만 상관계수 0.0037 향상, JIGSAWS에서는 0.04 향상되었다.
• 모델은 적응형 분산을 학습한다: 고품질 액션은 낮은 분산(안정된 스코어)을 보이고, 저품질 액션은 높은 분산(심판 간 이견)을 보인다.
• DAE-MT와 DAE-CoRe는 각각 7%와 9.7%의 추론 시간 증가를 보였으며, 이는 최소한의 계산 오버헤드를 의미한다.
• 사례 연구를 통해 DAE는 실제 세계의 불확실성 패턴을 잘 포착함을 확인하였으며, 분포가 인간 판단의 신뢰도를 반영한다.
• 절단 분석 결과, 단일 손실 대비 병합된 손실 함수가 더 높은 성능과 더 안정적인 분산 추정을 제공하는 것으로 나타났다.

Figure 2: The pipeline of DAE architecture contains two segments: video features extraction network and label distribution encoding network. The input video is divided into $n$ small clips by down-sampling. Then the clips are sent into I3D ConvNets for extracting features. The final features are syn