[논문 리뷰] Robust Emotion Recognition from Low Quality and Low Bit Rate Video: A Deep Learning Approach

Bowen Cheng, Zhangyang Wang외 6명|arXiv (Cornell University)|2017. 09. 10.

Advanced Image Processing Techniques참고 문헌 34인용 수 6

한 줄 요약

이 논문은 저비트레이트, 저품질 비디오에서 초해상도(SR) 및 정서 인식을 동시에 수행하는 딥러닝 프레임워크를 제안한다. 최대 내림샘플링 인자까지 적용된 프레임 혼합을 통해 훈련하는 새로운 'max-mix' 훈련 전략을 사용하여, 다양한 내림샘플링 인자에 대해 강건한 단일 'One-for-All' 모델을 구축한다. 이 방법은 별도의 SR 및 인식 파이프라인보다 뛰어난 성능을 보이며, AVEC 2016 벤치마크에서 더 높은 정확도와 비율-왜곡 효율성을 달성한다.

ABSTRACT

Emotion recognition from facial expressions is tremendously useful, especially when coupled with smart devices and wireless multimedia applications. However, the inadequate network bandwidth often limits the spatial resolution of the transmitted video, which will heavily degrade the recognition reliability. We develop a novel framework to achieve robust emotion recognition from low bit rate video. While video frames are downsampled at the encoder side, the decoder is embedded with a deep network model for joint super-resolution (SR) and recognition. Notably, we propose a novel max-mix training strategy, leading to a single "One-for-All" model that is remarkably robust to a vast range of downsampling factors. That makes our framework well adapted for the varied bandwidths in real transmission scenarios, without hampering scalability or efficiency. The proposed framework is evaluated on the AVEC 2016 benchmark, and demonstrates significantly improved stand-alone recognition performance, as well as rate-distortion (R-D) performance, than either directly recognizing from LR frames, or separating SR and recognition.

연구 동기 및 목표

• 대역폭 제약 조건에서 발생하는 낮은 공간 해상도로 인한 정서 인식 성능 저하 문제를 해결하기 위해.
• 다양한 비디오 품질 수준에서 동시에 초해상도 및 정서 인식을 수행하는 통합된 딥러닝 모델을 개발하기 위해.
• 일반적으로 저품질 조건에서 정확도 최적화에 실패하는 별도의 SR 및 인식 파이프라인의 한계를 극복하기 위해.
• 네트워크 대역폭이 동적으로 변하는 실세계 무선 멀티미디어 응용 분야에서의 확장성과 효율성을 향상시키기 위해.
• 압축 조건(예: 양자화 및 가변 비트레이트 포함)에서 모델 성능을 실제 환경에 가깝게 평가하기 위해.

제안 방법

• 딥 컨volution 신경망(SR-FCN)을 사용하여 초해상도 및 정서 인식을 종합적으로 최적화하는 프레임워크를 구현하며, 엔드 투 엔드로 훈련한다.
• 새로운 'max-mix' 훈련 전략을 도입하여, 최대 가능한 내림샘플링 인자(s=16)를 가진 내림샘플된 프레임 혼합으로 모델을 훈련함으로써, 모든 낮은 인자 수준에서도 강건성을 확보한다.
• 일반화 성능 향상과 척도 불변 특징 학습을 위해 다양한 내림샘플링 인자를 혼합하여 모델을 미세조정한다.
• 평가를 위해 AVEC 2016 데이터셋을 사용하며, 주요 인식 과제로는 밸런스 회귀를 설정한다.
• 다양한 비디오 코딩 조건(다른 양자화 파rameter)에서의 성능 평가를 통해 비율-왜곡 성능을 분석한다.
• 별도의 SR 및 인식 파이프라인을 피하고, 단일 최적화된 추론 경로에 두 과제를 통합한다.

실험 결과

연구 질문

• RQ1 재학습 없이도 다양한 비디오 내림샘플링 인자 범위에서 강건한 정서 인식 성능을 달성할 수 있는 단일 딥러닝 모델이 가능한가?
• RQ2 정확도 및 비율-왜곡 효율성 측면에서, 초해상도 및 인식을 동시에 최적화하는 방법이 두 단계 파이프라인과 비교해 어떻게 성능이 뛰어나게 되는가?
• RQ3 제안된 'max-mix' 훈련 전략이 다양한 비디오 품질 및 해상도에 대한 일반화 능력과 강건성을 향상시키는가?
• RQ4 비디오 압축에 의한 왜곡 상황에서, 통합된 SR-정서 인식 프레임워크가 얼마나 높은 수준의 인식 성능을 유지하는가?
• RQ5 활성 내림샘플링 및 효율적 코딩을 통해 대역폭 사용을 최소화하면서도 높은 인식 정확도를 달성할 수 있는가?

주요 결과

• 제안된 'One-for-All' 모델은 직접 저해상도 프레임에서의 인식 또는 별도의 SR 및 인식 파이프라인보다 유의미하게 높은 상관계수(CC)와 일치상관계수(CCC)를 달성한다.
• 내림샘플링 인자 s=8 이하 범위에서는 통합 모델이 상당한 성능 향상을 보이며, 모든 테스트된 인자에서 CC 및 CCC 향상이 관찰된다.
• 고양자화 조건(예: QP=32)에서도 모델은 강력한 인식 성능을 유지하며, 비트레이트 0.24 bpp(s=3) 및 0.4 bpp(s=4)에서 성능 저하가 거의 없이 유지된다.
• 'max-mix' 훈련 전략 덕분에, 각 인자에 대해 재학습이 필요 없이 광범위한 내림샘플링 인자 범위에서 일반화가 가능해졌다.
• 비율-왜곡 분석 결과, 특히 저비트레이트에서 대역폭 효율성과 정확도 사이의 유리한 트레이드오프를 달성하였다.
• 통합된 SR 및 정서 인식 프레임워크는 정확도와 압축 잡음에 대한 강건성 측면에서 둘 다 스탠드얼론 인식 및 두 단계 파이프라인보다 뛰어난 성능을 보였다.