[논문 리뷰] Weakly Supervised Energy-Based Learning for Action Segmentation

Jun Li, Peng Lei외 1명|arXiv (Cornell University)|2019. 09. 28.

Human Pose and Action Recognition참고 문헌 26인용 수 9

한 줄 요약

이 논문은 분할 그래프 내에서 유효한 및 비유효한 프레임 레이블링 간의 구분을 통해 훈련을 향상시키는 새로운 제약 조건을 갖춘 분류적 정방향 손실(CDFL)을 사용하는 약한 지도 학습 방식의 동작 분할 방법을 제안한다. GRU-HMM 아키텍처를 활용하고, 재귀적 logadd 기반 알고리즘을 통해 에너지 차이를 효율적으로 계산함으로써, CDFL은 Breakfast, Hollywood Extended, 50Salads 데이터셋에서 최신 기준 성능(SOTA)을 달성하여, 동작 분할 및 정렬 작업 모두에서 이전 방법들을 능가한다.

ABSTRACT

This paper is about labeling video frames with action classes under weak supervision in training, where we have access to a temporal ordering of actions, but their start and end frames in training videos are unknown. Following prior work, we use an HMM grounded on a Gated Recurrent Unit (GRU) for frame labeling. Our key contribution is a new constrained discriminative forward loss (CDFL) that we use for training the HMM and GRU under weak supervision. While prior work typically estimates the loss on a single, inferred video segmentation, our CDFL discriminates between the energy of all valid and invalid frame labelings of a training video. A valid frame labeling satisfies the ground-truth temporal ordering of actions, whereas an invalid one violates the ground truth. We specify an efficient recursive algorithm for computing the CDFL in terms of the logadd function of the segmentation energy. Our evaluation on action segmentation and alignment gives superior results to those of the state of the art on the benchmark Breakfast Action, Hollywood Extended, and 50Salads datasets.

연구 동기 및 목표

• 프레임 수준의 애너테이션이 없고, 오직 동작 순서 정보만 제공되는 약한 지도 학습 환경에서 동작 분할 모델을 훈련시키는 문제를 해결하기 위해.
• 이전 방법들이 훈련 중 모델의 정확도 오차로 인해 편향이 생길 수 있는 단일 추론된 분할 결과에 의존하는 손실 추정 방식의 한계를 극복하기 위해.
• 분할 그래프 내 모든 후보 경로에 걸쳐 유효한 분할과 비유효한 분할 간의 구분 마진을 명시적으로 모델링하여 훈련의 안정성을 향상시키기 위해.
• CDFL을 계산하기 위한 효율적인 재귀 알고리즘을 개발하여, 지수적으로 많은 경로를 포함하는 분할 그래프에서의 총 에너지를 계산할 수 있도록 하여, 엔드 투 엔드 훈련을 가능하게 하기 위해.

제안 방법

• 제약 조건이 있는 비터비 알고리즘을 사용해 초기 HMM-GRU 추론 결과로부터 분할 그래프를 구성하며, 노드는 잠재적인 동작 경계를 나타내고, 간선은 동작 세그먼트를 나타낸다.
• 감지된 컷 주변의 인접 프레임을 추가하여 경계 검출을 정밀화하고 후보 분할의 다양성을 증가시킨다.
• CDFL을 유효한 경로(참고 순서를 만족)의 누적 에너지와 비유효한 경로(순서 위반)의 누적 에너지 간의 차이로 정의하여 마진 최대화를 유도한다.
• 지수적으로 많은 경로를 포함하는 분할 그래프에서 총 에너지를 효율적으로 계산하기 위해 logadd 함수 기반의 재귀 알고리즘을 개발한다.
• HMM과 GRU를 CDFL을 사용해 엔드 투 엔드로 훈련시키며, 이는 비유효한 분할에 낮은 에너지를, 유효한 분할에 높은 에너지를 할당하도록 모델을 유도한다.
• 추론 단계에서는 학습된 모델에 대해 제약 조건이 있는 비터비 복원을 적용하여 분할 그래프 내에서 MAP 경로를 생성함으로써 훈련 시와 동일한 시간적 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 단일 가짜 참조 지도 데이터에 의존하는 것과는 달리, 모든 유효 및 비유효 분할을 고려하는 손실 함수가 약한 지도 학습 기반 동작 분할에서 훈련의 안정성을 향상시키는가?
• RQ2 비디오의 분할 그래프 내에서 지수적으로 많은 후보 분할의 에너지를 훈련에 효율적으로 계산할 수 있는가?
• RQ3 유효한 분할과 고점수를 가진 비유효한 분할 간의 마진을 최대화하는 것이 동작 분할 및 정렬 작업에서 더 나은 일반화 성능을 이끌어내는가?
• RQ4 초기 분할 컷 주변의 인접 프레임을 통합함으로써 경계 검출 및 전체 성능 향상에 어느 정도 기여하는가?
• RQ5 다른 손실 공식화 방식과 비교했을 때 제안된 CDFL 손실은 성능 및 훈련 안정성 측면에서 어떤가?

주요 결과

• CDFL은 Breakfast 데이터셋에서 63.0% Mof, 61.4% Mof-bg, 45.8% IoU, 63.9% IoD를 기록하며, 이전 방법들을 능가하는 최신 기준 성능(SOTA)을 달성한다.
• Hollywood Extended 데이터셋에서 CDFL은 64.3% Mof, 70.8% Mof-bg, 40.5% IoU, 52.9% IoD를 기록하여 이전 SOTA를 크게 능가한다.
• 50Salads 데이터셋에서 CDFL은 68.0% Mof, 65.3% Mof-bg, 45.5% IoU, 58.7% IoD를 기록하며, 다양한 동작 분포에 걸쳐 강력한 일반화 성능을 보여준다.
• 절단 분석 결과, 이웃 윈도우 크기가 6인 $L_{\text{CDF}}$를 사용할 경우 Hollywood Extended에서 가장 높은 정렬 성능(52.9% IoD)을 기록하여 국소적 맥락의 유용성을 확인한다.
• 재귀적 logadd 기반 CDFL 계산 방식은 지수적으로 많은 경로를 다루는 데 있어 효율적인 훈련을 가능하게 하며, 이전 방법 대비 복잡도 증가 폭이 미미하다.
• 시각화 결과, CDFL은 정확한 동작 정렬을 생성하며, 복잡하고 겹치는 순서조차도 정확하게 동작을 국소화함을 확인할 수 있다.