[논문 리뷰] Source-free Unsupervised Domain Adaptation for Blind Image Quality Assessment

Jianzhao Liu, Xin Li외 2명|arXiv (Cornell University)|2022. 07. 17.

Domain Adaptation and Few-Shot Learning인용 수 9

한 줄 요약

이 논문은 소스 데이터에 접근할 수 없을 경우에도, 이미지 품질을 평가 점수의 분포로 모델링하는 rating distribution prediction 작업으로서의 이미지 품질을 다루는 source-free 비지도 도메인 적응 방법을 제안한다. 사전 학습된 모델을 비지도 타겟 도메인에 적응시키기 위해 배치 정규화(BN)의 아핀 파라미터에 대해 자기지도 목표함수—엔트로피 최소화, 예측 다양성 최대화, 가우시안 정규화—를 활용하여, 소스 데이터에 접근하지 못함에도 불구하고 다양한 도메인 간 BIQA 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Existing learning-based methods for blind image quality assessment (BIQA) are heavily dependent on large amounts of annotated training data, and usually suffer from a severe performance degradation when encountering the domain/distribution shift problem. Thanks to the development of unsupervised domain adaptation (UDA), some works attempt to transfer the knowledge from a label-sufficient source domain to a label-free target domain under domain shift with UDA. However, it requires the coexistence of source and target data, which might be impractical for source data due to the privacy or storage issues. In this paper, we take the first step towards the source-free unsupervised domain adaptation (SFUDA) in a simple yet efficient manner for BIQA to tackle the domain shift without access to the source data. Specifically, we cast the quality assessment task as a rating distribution prediction problem. Based on the intrinsic properties of BIQA, we present a group of well-designed self-supervised objectives to guide the adaptation of the BN affine parameters towards the target domain. Among them, minimizing the prediction entropy and maximizing the batch prediction diversity aim to encourage more confident results while avoiding the trivial solution. Besides, based on the observation that the IQA rating distribution of single image follows the Gaussian distribution, we apply Gaussian regularization to the predicted rating distribution to make it more consistent with the nature of human scoring. Extensive experimental results under cross-domain scenarios demonstrated the effectiveness of our proposed method to mitigate the domain shift.

연구 동기 및 목표

• 개인정보나 저장 제약으로 인해 소스 데이터 접근이 불가능한 상황에서 블라인드 이미지 품질 평가(BIQA)에서 발생하는 도메인 이동 문제를 해결하기 위해.
• 분류 기반 source-free 도메인 적응과는 달리, 본질적으로 불확실하고 연속적인 IQA 레이블의 특성 간 격차를 메우기 위해.
• 사전 학습된 소스 모델과 비지도 타겟 데이터만을 활용하여 작동하는 단순하면서도 효과적인 적응 방법을 개발하기 위해.
• 품질 점수를 확률 분포로 모델링하여, 다양한 도메인 간 BIQA 시나리오에서 일반화 성능을 향상시키기 위해.
• 도메인 전용 배치 정규화(DSBN) 레이어를 활용하여 다수의 타겟 도메인에 걸쳐 지속적인 학습을 가능하게 하기 위해.

제안 방법

• 품질 점수를 스칼라 값이 아닌 확률 분포로 모델링함으로써 BIQA 문제를 rating distribution prediction 문제로 재정의한다.
• 세 가지 자기지도 목표함수를 설계한다: 확신 있는 예측을 유도하기 위한 엔트로피 최소화, 잠재적 해를 피하기 위한 다양성 최대화, 인간 평가 분포와 일치시키기 위한 가우시안 정규화.
• 모든 네트워크를 미세조정하지 않고 배치 정규화(BN) 레이어의 아핀 파라미터만 최적화하여, '소스 스타일' 특징을 '타겟 스타일'로 변환함으로써 모델을 적응시킨다.
• 다중 타겟 도메인에서 동시에나 순차적으로도 적응할 수 있도록 도메인 전용 배치 정규화(DSBN)를 활용한다.
• k-means 클러스터링과 적합도 분석을 통해 인간이 평가한 품질 분포가 약간의 가우시안 분포에 가까움을 검증한다.
• MMD 기반 정렬과 확률 모델링을 적용하여 소스 도메인과 타겟 도메인 간 특징 일관성을 향상시킨다.

실험 결과

연구 질문

• RQ1 소스 데이터에 접근할 수 없고, 오직 사전 학습된 모델만 이용 가능한 상황에서, 레이블이 본질적으로 불확실하고 연속적인 블라인드 이미지 품질 평가(BIQA)에 source-free 비지도 도메인 적응을 효과적으로 적용할 수 있는가?
• RQ2 소스 데이터가 없고 오직 사전 학습된 모델만 이용 가능한 상황에서, 자기지도 목표함수를 어떻게 설계하여 적응을 이끌 수 있는가?
• RQ3 스칼라 회귀 대비 품질 점수를 rating distribution으로 모델링하는 것이 얼마나 성능 향상에 기여하는가?
• RQ4 예측된 분포에 대한 가우시안 정규화가 인간의 인지와의 일치도를 향상시키고 일반화 성능을 향상시키는 데 효과적인가?
• RQ5 제안된 방법이 치명적인 기억 상실 없이 다수의 타겟 도메인에 걸쳐 지속적인 학습을 지원할 수 있는가?

주요 결과

• 제안된 방법은 다양한 도메인 간 BIQA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, KonIQ-10K에서 기준 방법 대비 SROCC가 최대 0.087 향상되었다.
• 엔트로피, 다양성, 가우시안 정규화 손실을 모두 조합할 경우, 모든 데이터셋에서 SROCC와 PLCC가 일관되게 향상되어 최고의 성능을 기록하였다.
• 가우시안 정규화 손실은 예측된 rating 분포를 더 가우시안에 가깝게 보정하여 인간 평가 행동과의 일치도를 향상시켰다.
• 지속적인 학습 환경에서도 높은 성능를 유지하였으며, 6개의 데이터셋을 순차적으로 학습할 때, 미세조정 및 EWC와 같은 지도 기반 기준 방법보다 뛰어난 성능를 보였다.
• DSBN은 동시에나 순차적으로도 여러 도메인에 안정적으로 적응시켜주며, 이전 작업의 지식을 유지하면서 치명적인 기억 상실을 방지하였다.
• 시각화 결과, 엔트로피와 다양성 손실만으로는 분포가 잘 캘리브레이션되지 않은 것으로 확인되었고, 가우시안 정규화가 적절한 가우시안 형태를 복원하여 예측 정확도를 향상시켰다.