[논문 리뷰] DMC-Net: Generating Discriminative Motion Cues for Fast Compressed Video Action Recognition

Zheng Shou, Xudong Lin외 5명|arXiv (Cornell University)|2019. 01. 11.

Human Pose and Action Recognition참고 문헌 59인용 수 10

한 줄 요약

DMC-Net는 압축 영상에서의 저해상도이자 노이즈가 있는 운동벡터를 개선하여 광범위하게 구분 가능한 운동정보(DMC)를 생성하는 경량 생성자 네트워크를 제안한다. 이 DMC는 광학 흐름에 매우 가까운 근사치를 제공한다. 흐름 복원 및 행동 인식 손실을 통해 엔드 투 엔드로 훈련함으로써 DMC-Net은 흐름 기반 방법보다 두 배수 빠른 속도로 거의 흐름 수준의 정확도를 달성하며, 추론 시에 압축 도메인에서만 작동한다.

ABSTRACT

Motion has shown to be useful for video understanding, where motion is typically represented by optical flow. However, computing flow from video frames is very time-consuming. Recent works directly leverage the motion vectors and residuals readily available in the compressed video to represent motion at no cost. While this avoids flow computation, it also hurts accuracy since the motion vector is noisy and has substantially reduced resolution, which makes it a less discriminative motion representation. To remedy these issues, we propose a lightweight generator network, which reduces noises in motion vectors and captures fine motion details, achieving a more Discriminative Motion Cue (DMC) representation. Since optical flow is a more accurate motion representation, we train the DMC generator to approximate flow using a reconstruction loss and a generative adversarial loss, jointly with the downstream action classification task. Extensive evaluations on three action recognition benchmarks (HMDB-51, UCF-101, and a subset of Kinetics) confirm the effectiveness of our method. Our full system, consisting of the generator and the classifier, is coined as DMC-Net which obtains high accuracy close to that of using flow and runs two orders of magnitude faster than using optical flow at inference time.

연구 동기 및 목표

• 압축 영상 기반 방법과 광학 흐름 기반 행동 인식 간의 정확도 격차를 해소하기 위해 운동 표현 품질을 향상시키기.
• 압축 영상 운동벡터의 한계인 저해상도와 노이즈 문제를 학습 가능한 보정 과정을 통해 극복하기.
• 추론 시 광학 흐름 계산 없이도 고정확도의 비디오 행동 인식을 가능하게 하며, 효율성을 유지하기.
• 광학 흐름 감독과 최종 분류 작업을 동시에 학습하여 구분 가능한 운동정보를 생성하는 생성자 설계하기.
• 훈련 후에 오직 압축 도메인에서만 작동하도록 하여 계산 효율성과 인식 정확도 사이의 균형을 이루기.

제안 방법

• 스택된 운동벡터와 잔차를 입력으로 받아 거친 운동 표현을 개선하는 경량 DMC 생성자 네트워크 제안하기.
• 정답 광학 흐름을 일치시키기 위해 픽셀 단위의 복원 손실과 흐름 분포를 일치시키기 위해 적대적 손실을 사용하여 생성자 훈련하기.
• 행동 분류기와 함께 엔드 투 엔드 훈련을 통합하여 생성자가 인식에 구분 가능한 운동정보를 학습하도록 하기.
• 블록 효과를 줄이기 위해 입력 이전에 이중선형 보간을 사용하여 운동벡터를 부드럽게 하여 DMC 품질 향상시키기.
• DMC 생성을 두 단계(오차 보정 및 업샘플링)로 분해하는 아블레이션을 수행했으나, 단일 단계 훈련이 더 효과적임을 발견함.
• 추론 시에 오직 압축 도메인에서만 작동하도록 하여 영상 디코딩과 광학 흐름 계산을 완전히 회피하기.

실험 결과

연구 질문

• RQ1 학습된 생성자가 압축 영상 운동벡터의 구분 능력을 향상시켜 광학 흐름 수준의 행동 인식 성능을 달성할 수 있는가?
• RQ2 흐름 복원과 분류 감독을 동시에 사용한 엔드 투 엔드 훈련이 별도의 훈련보다 운동정보 품질을 향상시키는가?
• RQ3 오차 보정과 업샘플링의 두 단계 분해보다 단일 단계 생성자가 DMC 생성에서 더 우수한 성능을 내는가?
• RQ4 입력 이전에 이중선형 보간을 통해 운동벡터를 부드럽게 하면 DMC 품질과 인식 정확도가 향상되는가?
• RQ5 압축 도메인 모델이 흐름 기반 모델의 정확도에 얼마나 가까이 도달할 수 있으며, 동시에 훨씬 더 빠른가?

주요 결과

• HMDB-51에서 DMC-Net은 61.5%의 정확도를 달성하여 CoViAR + TV-L1 Flow와 동일한 성능을 보였으며, 흐름 기반 방법보다 두 배수 빠른 속도로 작동한다.
• Kinetics-n50에서 DMC-Net은 65.42%의 정확도를 기록하여 CoViAR + TV-L1 Flow(65.43%)와 매우 유사한 성능을 보였고, 흐름 없이도 CoViAR(65.37%)를 초월했다.
• 아블레이션 연구 결과, 엔드 투 엔드 훈련이 필수적임을 확인했으며, 이를 제거하면 HMDB-51에서 정확도가 59.3%로 떨어졌다.
• 두 단계 DMC 생성은 성능 향상에 기여하지 않았으며, 정확도가 60.6%로 떨어져 단일 단계 보정이 더 효과적임을 시사했다.
• 입력 이전에 운동벡터를 이중선형 보간 처리하면 61.4%의 정확도를 기록했으며, 주요 방법(61.5%)보다 略적으로 낮지만 여전히 효과적이었고, 블록 효과가 있는 MV를 직접 사용하는 것이 타당함을 입증했다.
• DMC 생성자는 프레임당 0.23 GFLOPs와 0.106 ms의 소모량을 보이며, 광학 흐름 대비 추론 비용이 무시할 만큼 낮다.