[논문 리뷰] Customized Video QoE Estimation with Algorithm-Agnostic Transfer Learning

Selim İckin, Markus Fiedler외 1명|arXiv (Cornell University)|2020. 03. 12.

Image and Video Quality Assessment참고 문헌 15인용 수 4

한 줄 요약

이 논문은 민감한 현지 데이터를 폭 드러내지 않고 탈중앙화된 지식 공유를 가능하게 하는, 알고리즘에 종속되지 않는 전이 학습 프레임워크를 제안한다. 공유된 특징으로 훈련된 일반적인 기본 모델과 도메인 특화된 특징으로 훈련된 국소 모델을 스택하여, 작은 국소 데이터셋에서 7%의 정확도 향상을 달성하면서도, 기초 기계학습 알고리즘에 종속되지 않으며 프라이버시를 유지한다.

ABSTRACT

The development of QoE models by means of Machine Learning (ML) is challenging, amongst others due to small-size datasets, lack of diversity in user profiles in the source domain, and too much diversity in the target domains of QoE models. Furthermore, datasets can be hard to share between research entities, as the machine learning models and the collected user data from the user studies may be IPR- or GDPR-sensitive. This makes a decentralized learning-based framework appealing for sharing and aggregating learned knowledge in-between the local models that map the obtained metrics to the user QoE, such as Mean Opinion Scores (MOS). In this paper, we present a transfer learning-based ML model training approach, which allows decentralized local models to share generic indicators on MOS to learn a generic base model, and then customize the generic base model further using additional features that are unique to those specific localized (and potentially sensitive) QoE nodes. We show that the proposed approach is agnostic to specific ML algorithms, stacked upon each other, as it does not necessitate the collaborating localized nodes to run the same ML algorithm. Our reproducible results reveal the advantages of stacking various generic and specific models with corresponding weight factors. Moreover, we identify the optimal combination of algorithms and weight factors for the corresponding localized QoE nodes.

연구 동기 및 목표

• 소규모이고 개인정보 보호법(GDPR/IPR) 제약이 있는 환경에서 정확한 QoE 모델을 훈련시키는 데 도전하는 것.
• 민감한 사용자 프로파일이나 콘텐츠 기반 특징을 폭 드러내지 않고 국소 QoE 노드 간에 탈중앙화된 지식 공유를 가능하게 하는 것.
• 일반적인 QoE 요소(예: 재생 해상도, 중단 여부)와 특정 요소(예: 콘텐츠 유형, 시공간 복잡도)를 분리하여 모델 맞춤화를 향상시키는 것.
• 원천 도메인과 대상 도메인에서 사용하는 기계학습 알고리즘의 선택에 종속되지 않는 전이 학습 프레임워크를 개발하는 것.
• 사전 훈련된 일반 모델과 국소 모델을 스택함으로써 예측 정확도가 향상되며, 특히 국소 데이터가 제한된 경우에 유의미한 성능 향상을 보이는 것을 입증하는 것.

제안 방법

• QoE 모델링을 두 가지 구성요소로 분해: 일반적인 기본 모델(예: 해상도, 중단 여부 등 보편적으로 적용 가능한 특징)과 도메인 특화된 특징(예: 콘텐츠 유형, 기기 환경 등)으로 훈련된 국소 모델.
• 다양하고 광범위한 원천 도메인 데이터셋을 사용해 보편적으로 대표되는 특징을 기반으로 일반적인 기본 모델을 훈련하여 일반 QoE 패턴을 학습.
• 원천 도메인의 데이터에 대해 일반적 특징과 특정 특징을 모두 포함하여 별도의 국소 모델을 훈련하여 맥락 의존적 QoE 영향을 포착.
• 일반적인 기본 모델과 국소 모델의 예측을 결합하기 위해 모델 스태킹을 사용하며, 성능 최적화를 위해 학습 가능한 가중치 요소를 도입.
• 원천 도메인과 대상 도메인에서 다양한 기계학습 알고리즘(XGBoost, 신경망 등)을 사용할 수 있도록 하여 알고리즘에 종속되지 않는 구조를 확보하고, 모델 선택의灵活性와 최적화를 가능하게 함.
• 사전 훈련된 일반 기본 모델의 지식을 국소 모델에 초기화하여 소규모 국소 데이터셋에서의 성능 향상.

실험 결과

연구 질문

• RQ1 다양하고 대규모 데이터에서 훈련된 일반 기본 모델이 사생활 보호 환경에서 국소 데이터로 미세조정될 경우 QoE 예측 정확도가 향상되는가?
• RQ2 대상 도메인이 소규모 데이터를 가질 경우, 스태킹된 모델의 성능가 단독 국소 모델 또는 단독 일반 모델의 성능와 비교해 볼 때 어떻게 되는가?
• RQ3 원천 도메인과 대상 도메인에서 사용하는 기계학습 알고리즘의 선택이 최종 스태킹 모델 성능에 미치는 영향은 어느 정도이며, 이 프레임워크는 알고리즘에 종속되지 않는 모델 통합을 지원할 수 있는가?
• RQ4 다양한 알고리즘 조합에서 예측 정확도를 최대화하기 위해 일반 기본 모델과 국소 모델 간의 최적 가중치 분포는 어떻게 되는가?
• RQ5 원천 도메인에 콘텐츠 기반 특징이 포함될 경우, 원천 도메인과 다른 콘텐츠 특성을 가진 대상 도메인으로의 전이 성능에 어떤 영향을 미치는가?

주요 결과

• 재생 해상도, 중단 여부 등의 특징으로 훈련된 일반 기본 모델은 원천 도메인(G0)에서 0.75의 정확도를 기록하지만, 더 작은 대상 도메인(G1)으로 이전될 경우 0.71로 감소하여 경미한 부정적 전이를 나타낸다.
• 일반적 특징과 특정 특징(GF+SF)을 모두 사용해 훈련된 일반 기본 모델은 원천 도메인에서 0.80의 성능를 기록하지만, 대상 도메인에서는 0.68로 떨어지며, 이는 원천 도메인에서 특정 특징이 일반화되지 않음을 확인한다.
• 일반 기본 모델과 일반적 및 특정 특징으로 훈련된 국소 모델을 스택함으로써 소규모 대상 데이터셋에서 단독 국소 모델의 정확도 0.73에서 XGBoost를 원천 및 대상 도메인 모두에 사용할 경우 0.78로 향상된다.
• 원천 및 대상 도메인에서 동일한 알고리즘(XGBoost)을 사용할 경우, 스태킹 앙상블에서 기본 모델의 최적 가중치는 0.5이며, 이는 두 모델이 동일한 기여도를 한다는 것을 의미한다.
• 기본 모델이 신경망이고 국소 모델이 XGBoost일 경우, 최적의 기본 모델 가중치는 0.3으로, 이 구성에서는 기본 모델이 더 낮은 기여도를 한다는 것을 시사한다.
• 이 프레임워크는 민감한 데이터를 공유하지 않고도 소규모 국소 데이터셋에서 QoE 추정 정확도를 7% 향상시켜 실세계 적용 환경에서의 실용적 가치를 입증한다.