[논문 리뷰] An Unsupervised Information-Theoretic Perceptual Quality Metric

Sangnie Bhardwaj, Ian Fischer외 2명|arXiv (Cornell University)|2020. 06. 11.

Image and Video Quality Assessment참고 문헌 36인용 수 14

한 줄 요약

이 논문은 인간 시각 시스템 생리학에서 유도된 인지적 편향(효율적 코딩 및 느림의 원칙)과 정보 이론적 목표를 활용하는 비지도 이미지 품질 평가 모델인 Perceptual Information Metric (PIM)을 제안한다. 학습에 단지 영상 프레임 쌍만을 사용하며, 인간이 라벨링한 품질 평가 데이터가 전혀 필요하지 않다. PIM은 BAPPS에서 LPIPS와 유사한 성능을 보이며, CLIC 2020 압축 순위 평가에서는 이를 뛰어넘는 성능을 기록한다.

ABSTRACT

Tractable models of human perception have proved to be challenging to build. Hand-designed models such as MS-SSIM remain popular predictors of human image quality judgements due to their simplicity and speed. Recent modern deep learning approaches can perform better, but they rely on supervised data which can be costly to gather: large sets of class labels such as ImageNet, image quality ratings, or both. We combine recent advances in information-theoretic objective functions with a computational architecture informed by the physiology of the human visual system and unsupervised training on pairs of video frames, yielding our Perceptual Information Metric (PIM). We show that PIM is competitive with supervised metrics on the recent and challenging BAPPS image quality assessment dataset and outperforms them in predicting the ranking of image compression methods in CLIC 2020. We also perform qualitative experiments using the ImageNet-C dataset, and establish that PIM is robust with respect to architectural details.

연구 동기 및 목표

• 비용이 많이 들는 인간 라벨링 데이터(예: 품질 평가 또는 분류 레이블)에 의존하지 않는 인지적 이미지 품질 측정 지표를 개발하는 것.
• 인간 시각 시스템 생리학에서 유도된 인지적 편향(효율적 코딩 및 느림의 원칙)이 비지도 이미지 품질 예측 성능을 향상시킬 수 있는지 조사하는 것.
• 특정 왜곡 유형에 대한 미세조정 없이도 다양한 이미지 왜곡에 일반화 능력이 뛰어난 측정 지표를 만드는 것.
• 비지도 영상 프레임 쌍 학습이 최신 지도 학습 모델과 경쟁 가능한 인지적 측정 지표를 도출할 수 있는지 평가하는 것.

제안 방법

• 이 모델은 다중 척도 및 확률적 인코더를 사용하여 이미지를 잠재 공간으로 매핑하며, 추론을 효율화하기 위해 딥 네트워크로 매개변수화된다.
• 잠재 분포 간의 대칭 Kullback–Leibler 발산을 인지적 거리 측정 지표로 사용한다.
• 학습 목표는 시간적으로 인접한 영상 프레임 간의 예측 정보(상호정보량)를 최대화하는 것으로, 느림의 원리를 강제한다.
• 아키텍처는 공간 및 시간적 이동 불변성과 다중 척도 공간 불변성을 강제하여 초기 시각 처리를 모방한다.
• 모델은 인간의 품질 레이블이 전혀 없는 자연 영상 데이터만을 사용해 종단 간 비지도 학습 방식으로 훈련된다.
• 잠재 표현은 민감한 이미지 영역에서의 불확실성 모델링을 가능하게 하기 위해 유연하고 표현력이 풍부하도록 설계되었다.

실험 결과

연구 질문

• RQ1 인간이 라벨링한 품질 평가 데이터나 분류 데이터 없이도 인지적 이미지 품질 측정 지표를 효과적으로 학습시킬 수 있는가?
• RQ2 영상 프레임 간의 대비 학습을 통해 느림의 원리를 강제하면 인지적 품질 예측 성능이 향상되는가?
• RQ3 잠재 표현에 효율적 코딩 원칙을 적용하면 수작업 또는 지도 학습 기반 측정 지표보다 인간 인식과 더 잘 일치하는가?
• RQ4 네트워크 깊이 또는 다중 척도 설계와 같은 아키텍처 변화에 대해 제안된 측정 지표는 얼마나 강인한가?
• RQ5 비지도 학습 모델이 표준 이미지 품질 평가 벤치마크에서 LPIPS와 같은 지도 학습 모델의 성능을 어느 정도 따라잡을 수 있는가?

주요 결과

• PIM은 BAPPS-2AFC 데이터셋에서 인간 평가자와 69.1%의 일치도를 기록하며, 인간 평가자 간 평균 일치도인 73.9%에 근접한다.
• BAPPS-JND 데이터셋에서 PIM은 지도 학습 기반 LPIPS 측정 지표를 뛰어넘는 성능을 보였다. 이는 미세한 차이를 감지하는 능력을 평가하는 데서 유의미한 성과이다.
• CLIC 2020 압축 순위 벤치마크에서 PIM은 모든 지도 학습 기반 측정 지표보다 이미지 압축 방법의 순위 예측 성능에서 뛰어난 성능을 보였다.
• 모델는 네트워크 깊이 또는 다중 척도 설계와 같은 아키텍처 변화에 대해 강력한 강인성을 보이며, 핵심 인지적 편향의 안정성을 시사한다.
• PIM는 인간이 라벨링한 품질 데이터 없이도 지도 학습 모델과 경쟁 가능한 성능을 기록하며, 정보 이론적 및 생리학적 인지적 편향의 효과성을 입증한다.
• 모델의 성능는 다양한 왜곡에 걸쳐 일관되게 유지되며, 특정 왜곡 유형을 넘어 일반화 능력이 뛰어나다는 것을 시사한다.