[논문 리뷰] Deep Decomposition and Bilinear Pooling Network for Blind Night-Time Image Quality Evaluation

Qiuping Jiang, Jiawu Xu외 4명|arXiv (Cornell University)|2022. 05. 12.

Image and Video Quality Assessment인용 수 6

한 줄 요약

이 논문은 레티나크스 기반 분해를 통해 야경 이미지를 조명 및 반사층으로 분해하고, 각 성분에서 복잡한 손실 특징을 인코딩한 후 이중선형 풀링을 통해 융합함으로써 실시간 야간 이미지 품질 평가(NTIQE)를 위한 딥러닝 프레임워크인 DDB-Net을 제안한다. 이 방법은 낮은 계산 비용으로도 벤치마크 데이터셋에서 최고 성능을 달성하며, 실제 야간 이미지에서 발생하는 왜곡에 대해 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Blind image quality assessment (BIQA), which aims to accurately predict the image quality without any pristine reference information, has been extensively concerned in the past decades. Especially, with the help of deep neural networks, great progress has been achieved. However, it remains less investigated on BIQA for night-time images (NTIs) which usually suffers from complicated authentic distortions such as reduced visibility, low contrast, additive noises, and color distortions. These diverse authentic degradations particularly challenges the design of effective deep neural network for blind NTI quality evaluation (NTIQE). In this paper, we propose a novel deep decomposition and bilinear pooling network (DDB-Net) to better address this issue. The DDB-Net contains three modules, i.e., an image decomposition module, a feature encoding module, and a bilinear pooling module. The image decomposition module is inspired by the Retinex theory and involves decoupling the input NTI into an illumination layer component responsible for illumination information and a reflection layer component responsible for content information. Then, the feature encoding module involves learning feature representations of degradations that are rooted in the two decoupled components separately. Finally, by modeling illumination-related and content-related degradations as two-factor variations, the two feature sets are bilinearly pooled together to form a unified representation for quality prediction. The superiority of the proposed DDB-Net has been well validated by extensive experiments on several benchmark datasets. The source code will be made available soon.

연구 동기 및 목표

• 실제 야경 이미지(NTIs)에서 저조도, 노이즈, 색상 이동 등의 복잡하고 실제적인 왜곡으로 인해 발생하는 빌드-인 이미지 품질 평가(BIQA) 과제를 해결하기 위해.
• 기존 BIQA 방법들이 합성 왜곡에서는 잘 작동하지만 실제 NTI 왜곡에서는 실패하는 한계를 극복하기 위해.
• NTIs에서 조명 관련 및 콘텐츠 관련 왜곡을 효과적으로 모델링할 수 있는 엔드 투 엔드 딥러닝 아키텍처를 설계하기 위해.
• 기준 이미지 없이도 효율적이고 정확한 품질 예측을 가능하게 하여 이미지 강화 알고리즘의 자동 매개변수 조정과 같은 응용을 지원하기 위해.

제안 방법

• DDB-Net 프레임워크는 세 가지 모듈로 구성된다: 이미지 분해, 특징 인코딩, 이중선형 풀링.
• 이미지 분해 모듈은 입력 NTI를 조명층(조명 조건)과 반사층(콘텐츠 세부 정보)으로 분리하며, 이는 레티나크스 이론을 기반으로 한다.
• 특징 인코딩 모듈은 별도의 스트림 네트워크를 사용하여 조명 및 반사 성분에서 각각 다른 왜곡 특징을 학습한다.
• 이중선형 풀링은 두 개의 인코딩된 특징 세트에 적용되어 조명과 콘텐츠 왜곡 간의 상호작용을 모델링하고, 품질 예측을 위한 통합 표현을 형성한다.
• 네트워크는 입력 NTI에서 연속적인 품질 점수를 예측하기 위해 회귀 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 아키텍처는 효율성을 고려하여 제작되었으며, 총 0.38만 개의 파라미터와 낮은 FLOPs를 가지며, 빠른 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 BIQA 모델이 실제 야경 이미지에 존재하는 복잡하고 진짜 왜곡을 효과적으로 다룰 수 있는가?
• RQ2 조명 및 콘텐츠 성분을 분리함으로써 품질 평가를 위한 왜곡 특징 학습이 향상되는가?
• RQ3 분해된 성분에서 유도된 특징의 이중선형 풀링이 표준 특징 융합 방식보다 더 나은 품질 예측 성능을 낼 수 있는가?
• RQ4 제안된 DDB-Net이 벤치마크 데이터셋에서 기존 BIQA 및 NTIQE 방법들과 비교해 성능과 효율성 면에서 어떻게 성과를 내는가?

주요 결과

• DDB-Net은 빌드-인 야간 이미지 품질 평가에 대해 NNID 및 NTIRE2020 벤치마크 데이터셋 모두에서 최고 성능을 달성한다.
• 모델은 인간의 주관적 평가 점수와 강한 일致성을 보이며, 인지적으로 의미 있는 품질을 예측할 수 있음을 검증한다.
• DDB-Net은 딥러닝 기반 방법들 중 두 번째로 빠른 추론 속도를 기록하며, 이미지당 0.0092초, 총 0.38만 개의 파라미터를 사용한다.
• 특히 저대비, 노이즈, 색상 왜곡을 다룰 때, 존재하는 수작업 및 딥러닝 기반 BIQA 방법들을 능가하는 성능을 보이며, 실제 야간 이미지 왜곡에 대해 뛰어난 성능을 발휘한다.
• 제거 실험을 통해 분해와 이중선형 풀링의 조합이 기준 모델 대비 성능 향상에 크게 기여한다는 점을 확인하였다.
• 이 프레임워크는 LIME 이미지 강화 알고리즘의 자동 매개변수 조정을 성공적으로 수행하였으며, 기본값을 초월하는 우수한 매개변수 설정을 식별하였다.