[논문 리뷰] Perceived Audiovisual Quality Modelling based on Decison Trees, Genetic Programming and Neural Networks

Edip Demirbilek, Jean‐Charles Grégoire|arXiv (Cornell University)|2017. 12. 06.

Image and Video Quality Assessment참고 문헌 21인용 수 3

한 줄 요약

이 논문은 실시간 멀티미디어 데이터셋에서 추출한 비트스트림 특징에서 직접 오디오비주얼 품질을 예측하는 데 전용으로 설계된 머신러닝 모델—특히 랜덤 포레스트, 배깅, 딥러닝, 유전적 프로그래밍—을 제안한다. 125개의 상관관계가 있는 특징을 포함한 INRS 오디오비주얼 품질 데이터셋을 사용하여, 랜덤 포레스트와 배깅이 가장 높은 정확도(가장 낮은 RMSE 및 가장 높은 피어슨 상관계수)를 기록했으며, 딥러닝과 유전적 프로그래밍보다 뛰어났다. 특히, 딥러닝과 유전적 프로그래밍는 정점 성능에 도달하기 위해 더 적은 수의 특징을 요구하였다.

ABSTRACT

Our objective is to build machine learning based models that predict audiovisual quality directly from a set of correlated parameters that are extracted from a target quality dataset. We have used the bitstream version of the INRS audiovisual quality dataset that reflects contemporary real-time configurations for video frame rate, video quantization, noise reduction parameters and network packet loss rate. We have utilized this dataset to build bitstream perceived quality estimation models based on the Random Forests, Bagging, Deep Learning and Genetic Programming methods. We have taken an empirical approach and have generated models varying from very simple to the most complex depending on the number of features used from the quality dataset. Random Forests and Bagging models have overall generated the most accurate results in terms of RMSE and Pearson correlation coefficient values. Deep Learning and Genetic Programming based bitstream models have also achieved good results but that high performance was observed only with a limited range of features. We have also obtained the epsilon-insensitive RMSE values for each model and have computed the significance of the difference between the correlation coefficients. Overall we conclude that computing the bitstream information is worth the effort it takes to generate and helps to build more accurate models for real-time communications. However, it is useful only for the deployment of the right algorithms with the carefully selected subset of the features. The dataset and tools that have been developed during this research are publicly available for research and development purposes.

연구 동기 및 목표

• 중간 단계의 품질 함수 없이 비트스트림 파rameter에서 직접 청취자 인식 품질을 예측하는 머신러닝 모델을 개발하는 것.
• 실시간 멀티미디어 품질 데이터셋에서 다양한 머신러닝 알고리즘—랜덤 포레스트, 배깅, 딥러닝, 유전적 프로그래밍—의 성능을 평가하는 것.
• 실시간 통신 시스템에서 예측 정확도를 극대화하는 데 최적의 비트스트림 특징 조합을 규명하는 것.
• 예측 품질 모델링에서 모델 복잡도, 학습 노력, 예측 정확도 간의 상호 상충 관계를 평가하는 것.
• 향후 연구 및 개발을 위한 품질 경험(QoE) 모델링 분야에서 데이터셋과 도구를 공개하는 것.

제안 방법

• 영상 프레임 레이트,量子화, 노이즈 감소, 패킷 손실률 등의 미디어 및 네트워크 파rameter에서 유도된 125개 특징을 포함하는 INRS 오디오비주얼 품질 데이터셋의 비트스트림 버전을 구축하였다.
• 랜덤 포레스트를 사용하여 유사도 기반 특징 중요도 순위를 매기고, 각 알고리즘당 125개의 점진적 모델(1~125개 특징)을 생성하기 위해 한 개씩 제거하는 교차검증을 실시하였다.
• 동일한 데이터셋을 사용하여 랜덤 포레스트, 배깅, 딥러닝, 유전적 프로그래밍의 네 가지 머신러닝 모델을 증가하는 특징 부분집합으로 학습 및 평가하였다.
• 모델 성능을 평가하기 위해 RMSE, 피어슨 상관계수, 이psilon-감내형 RMSE(RMSE*)를 측정하여 모델 간 차이의 강인성과 유의미성을 분석하였다.
• 모델 간 상관계수 차이의 통계적 유의미성을 검증하기 위해 피셔-z 변환을 적용하였다.
• 성능 추세와 계산 비용을 기반으로 최적의 특징 조합을 선별하였으며, 모델 효율성과 정확도 간 상호 보완적 고려를 강조하였다.

실험 결과

연구 질문

• RQ1 비트스트림 특징에서 오디오비주얼 품질을 예측하는 데 있어 어떤 머신러닝 알고리즘이 가장 높은 정확도를 달성하는가?
• RQ2 모델 성능은 입력 특징의 수에 따라 어떻게 변화하며, 각 알고리즘의 최적 특징 조합 크기는 얼마인가?
• RQ3 다양한 알고리즘 간에 모델 복잡도, 학습 시간, 예측 정확도 간의 상호 상충 관계는 어떠한가?
• RQ4 RMSE, 상관계수, RMSE* 성능 지표가 랜덤 포레스트, 배깅, 딥러닝, 유전적 프로그래밍 간에 어떻게 비교되는가?
• RQ5 실시간 통신 시스템에서 비트스트림 정보를 계산함으로써 청취자 인식 품질 모델의 정확도 향상 정도는 어느 정도인가?

주요 결과

• 랜덤 포레스트와 배깅 모델이 모든 특징 수에서 가장 뛰어난 전반적 성능을 기록하였으며, 가장 낮은 RMSE와 가장 높은 피어슨 상관계수를 기록하였다.
• 딥러닝과 유전적 프로그래밍 모델은 상위 7개 특징만으로도 정점 성능에 도달하였으며, 특징 선택에 매우 민감한 것으로 나타났다.
• 랜덤 포레스트 기반 모델은 특히 상위 20개 특징을 사용할 경우 다른 모든 모델을 압도했으며, 훨씬 적은 튜닝과 학습 시간을 요구하였다.
• 유전적 프로그래밍 모델은 가장 많은 계산 자원을 소모하고, 가장 긴 학습 시간이 소요되었으며, 광범위한 하이퍼파ram터 튜닝이 필요했지만, 가장 낮은 성능을 기록하였다.
• RMSE* 값은 특징 수가 두 개를 초과할수록 성능 차이가 더욱 두드러지게 나타나 특징의 풍부함이 추가 가치를 지닌다는 것을 확인하였다.
• 본 연구는 비트스트림 특징을 추출하는 것이 모델 정확도 향상에 바람직하다는 것을 확인하였지만, 이는 적절한 알고리즘과 신중하게 선택된 특징 조합과 함께 사용되어야 함을 시사한다.