[논문 리뷰] Multi-task deep CNN model for no-reference image quality assessment on smartphone camera photos

Chen-Hsiu Huang, Ja‐Ling Wu|arXiv (Cornell University)|2020. 08. 27.

Image and Video Quality Assessment참고 문헌 19인용 수 6

한 줄 요약

이 논문은 스마트폰 카메라 사진에서 참조 없는 이미지 품질을 동시에 예측하고 장면 유형을 탐지하는 다중 작업 딥 컨볼루션 네트워크 모델을 제안한다. 공유된 컨볼루션 특징을 활용하여 품질 평가 성능을 햖थ다. 이 방법은 SCPQD2020 데이터셋에서 최신 기준 SROCC 성능을 달성하였으며, 장면 인식 특징 학습이 실제 스마트폰 이미지 품질 예측 정확도를 향상시킨다는 것을 입증한다.

ABSTRACT

Smartphone is the most successful consumer electronic product in today's mobile social network era. The smartphone camera quality and its image post-processing capability is the dominant factor that impacts consumer's buying decision. However, the quality evaluation of photos taken from smartphones remains a labor-intensive work and relies on professional photographers and experts. As an extension of the prior CNN-based NR-IQA approach, we propose a multi-task deep CNN model with scene type detection as an auxiliary task. With the shared model parameters in the convolution layer, the learned feature maps could become more scene-relevant and enhance the performance. The evaluation result shows improved SROCC performance compared to traditional NR-IQA methods and single task CNN-based models.

연구 동기 및 목표

• 일반적으로 왜곡되지 않은 스마트폰 카메라 사진에 특화된 효과적인 참조 없는 이미지 품질 평가(NR-IQA) 방법의 부족을 해결한다. 이러한 이미지는 ISP 처리로 인해 인식 품질이 다양하다.
• 합성 왜곡을 대상으로 설계된 전통적인 NR-IQA 방법의 한계를 극복한다. 이러한 방법들은 실제 스마트폰 이미지에서는 성능이 떨어진다.
• 공유된 CNN 아키텍처에서 특징 학습을 이끌기 위해 보조 작업으로 장면 유형 탐지를 도입하여 품질 예측 정확도를 향상시킨다.
• 다중 작업 학습을 통해 장면 맥락을 통합하면 실제 스마트폰 촬영 환경에서 이미지 품질 평가를 위한 특징 표현이 향상됨을 입증한다.

제안 방법

• 공유된 컨볼루션 계층을 사용하여 참조 없는 이미지 품질 예측과 장면 유형 분류를 동시에 수행하는 다중 작업 딥 컨볼루션 네트워크 모델(DCNNS)을 제안한다.
• 학습을 위한 보조 장면 탐지 작업을 위해 간단한 이미지 클러스터링 방법을 사용하여 장면 유형을 자동으로 레이블링한다.
• 품질 예측 손실과 장면 분류 손실을 모두 포함하는 병합된 손실 함수를 사용하여 네트워크를 엔드 투 엔드로 학습시킨다.
• 품질 예측과 장면 이해를 동시에 최적화하는 공유된 컨볼루션 계층에서 특징을 추출한다.
• 지역화된 장면 및 품질 분석을 가능하게 하기 위해 64×64 크기의 이미지 패치를 적용한다.
• 공유된 표현을 활용하여 학습된 특징의 일반화 능력과 장면 관련성을 향상시키며, 특히 복잡하거나 저대비 영역에서 유의미한 개선 효과를 얻는다.

실험 결과

연구 질문

• RQ1 보조 작업으로 장면 유형 탐지가 스마트폰 카메라 사진의 참조 없는 이미지 품질 평가 성능을 향상시키는가?
• RQ2 공유된 컨볼루션 특징을 사용한 다중 작업 학습이 단일 작업 모델 대비 일반화 능력과 품질 예측 정확도에 어떤 영향을 미치는가?
• RQ3 장면 탐지 정확도와 실제 스마트폰 이미지에서의 품질 예측 성능(SROCC) 간의 상관관계는 어느 정도인가?
• RQ4 어떤 이미지(특히 야경)는 왜 장면 탐지 정확도가 낮고, 품질 예측 성능이 떨어지는가?
• RQ5 합성 왜곡 없이도 다중 작업 CNN 아키텍처가 원시 스마트폰 이미지로부터 장면 관련 특징을 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 DCNNS 모델은 SCPQD2020 데이터셋에서 질감에 대해 SROCC 0.4899, 색상에 대해 0.4979, 노이즈에 대해 0.4723, 노출에 대해 0.4349를 기록하여 기존의 NR-IQA 방법 및 단일 작업 CNN 기준선을 모두 초월한다.
• 장면 탐지 정확도가 높은 이미지(예: 이미지 85의 경우 0.7785)는 낮은 정확도를 보이는 이미지(예: 이미지 55의 경우 0.0289)보다 훨씬 높은 SROCC 점수(질감에 대해 0.5869)를 기록한다.
• 균형 잡힌 조명과 복잡한 무늬를 가진 이미지(장면 1)에서는 장면 정확도와 SROCC가 모두 높아, 모델의 성능이 뛰어나게 나타난다.
• 야경(장면 0)은 장면 분류에 있어 가장 도전적인 영역으로, 평균 정확도가 0.04 이하이며, 이는 낮은 SROCC 점수와 관련이 있으며 핵심적인 제한 요소로 나타난다.
• 보조 장면 작업은 특징 학습을 향상시키며, 장면 분류가 정확한 이미지에서 높은 SROCC를 기록함으로써 다중 작업 학습의 유용성을 확인한다.
• 비록 성능 향상이 있었지만, 모델은 국소적 장면 일관성 문제를 겪으며, 동일한 이미지에서 온 패치들이 서로 다른 장면 카테고리로 잘못 분류되어 최적화 과정에 악영향을 미친다.