[논문 리뷰] Full RGB Just Noticeable Difference (JND) Modelling

Jian Jin, Dong Yu외 4명|arXiv (Cornell University)|2022. 03. 01.

Color Science and Applications인용 수 4

한 줄 요약

이 논문은 밝기 및 색상 채널, 시각적 주의, 적응형 이미지 품질 평가를 종합적으로 고려하는 딥러닝 기반의 전체 RGB Just Noticeable Difference (JND) 모델인 RGB-JND-NET을 제안한다. 인간 시각 시스템 민감도와 일치하는 바, 실험 결과에서는 녹색 채널보다 빨간색 및 파란색 채널에서 더 높은 JND 내성도를 보이며, 전체 색상 공간에서의 인지적 부여를 학습하여 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Just Noticeable Difference (JND) has many applications in multimedia signal processing, especially for visual data processing up to date. It's generally defined as the minimum visual content changes that the human can perspective, which has been studied for decades. However, most of the existing methods only focus on the luminance component of JND modelling and simply regard chrominance components as scaled versions of luminance. In this paper, we propose a JND model to generate the JND by taking the characteristics of full RGB channels into account, termed as the RGB-JND. To this end, an RGB-JND-NET is proposed, where the visual content in full RGB channels is used to extract features for JND generation. To supervise the JND generation, an adaptive image quality assessment combination (AIC) is developed. Besides, the RDB-JND-NET also takes the visual attention into account by automatically mining the underlying relationship between visual attention and the JND, which is further used to constrain the JND spatial distribution. To the best of our knowledge, this is the first work on careful investigation of JND modelling for full-color space. Experimental results demonstrate that the RGB-JND-NET model outperforms the relevant state-of-the-art JND models. Besides, the JND of the red and blue channels are larger than that of the green one according to the experimental results of the proposed model, which demonstrates that more changes can be tolerated in the red and blue channels, in line with the well-known fact that the human visual system is more sensitive to the green channel in comparison with the red and blue ones.

연구 동기 및 목표

• 기존 JND 모델이 색상 채널을 밝기의 비율로 간주하는 데에 한계가 있음을 고려해, 전체 색상 공간에서의 JND 모델링을 다룬다.
• 세 가지 RGB 채널 전반에서 인지적 부여를 정확히 모델링할 수 있는 학습 기반의 생성 네트워크를 개발한다.
• 간단한 가중치 적용이 아닌, 공간적 제약 조건으로서의 시각적 주의를 통합하여 JND 생성을 향상시킨다.
• 훈련 과정에서 고정된 IQA 지표의 한계를 극복하기 위해, 최적의 품질 평가 지표를 동적으로 선택하는 적응형 IQA 조합(AIC)을 도입한다.
• 주관적 및 객관적 평가를 통해 모델의 인지 정확성을 검증하여 전체 RGB 공간에서 개선된 JND 추정 성능을 입증한다.

제안 방법

• 전체 RGB 입력을 취해 다중 척도 특징을 추출하여 JND 예측을 수행하는 딥 네트워크인 RGB-JND-NET을 제안한다.
• 다양한 IQA 지표(예: SSIM, LPIPS 등)에서 동적으로 선택하는 적응형 이미지 품질 평가 조합(AIC)을 도입하여 JND 생성을 감독하고, 인지적 열화를 방지한다.
• 시각적 주의 맵을 공간적 제약 조건으로 통합하여, 네트워크가 주의와 JND 분포 간의 암묵적 관계를 학습함으로써 공간 정확도를 향상시킨다.
• 전체 RGB 채널에 대해 기울기 기반의 크기 제약 조건을 적용하여 생성된 JND가 인지적으로 감지되지 않도록 보장한다.
• 스킵 연결을 갖춘 오토인코더 유사 아키텍처를 사용하여 공간적 세부 정보를 유지하고 복원 정확도를 향상시킨다.
• 시각 품질을 유지하기 위해 인지 손실과 AIC 기반의 왜곡 감독을 조합하여 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 색상 채널을 밝기의 비율로 간주하는 대신 전체 RGB 색상 공간을 고려함으로써 JND 모델링은 어떻게 향상될 수 있는가?
• RQ2 시각적 주의는 JND의 공간 분포에 어떤 영향을 미치며, 이를 JND 생성 과정에 효과적으로 통합할 수 있는가?
• RQ3 적응형 IQA 조합(AIC)은 고정된 IQA 지표보다 생성적 JND 모델을 감독하는 데서 더 우수한 성능을 보일 수 있는가?
• RQ4 이러한 모델은 RGB 채널의 JND 분포 측면에서 다양한 이미지 콘텐츠 유형에서 어떻게 성능을 발휘하는가?
• RQ5 모델은 녹색에 비해 빨간색과 파란색에 대해 더 민감한 인간 시각 시스템(HVS) 민감도를 어느 정도 반영하는가?

주요 결과

• 제안된 RGB-JND-NET 모델은 주관적 및 객관적 평가에서 기존 최신 기술 수준의 JND 모델을 모두 초월한다.
• 모델은 녹색 채널보다 빨간색 및 파란색 채널에서 더 높은 JND 값을 생성하여 인간 시각 시스템의 녹색에 대한 더 높은 민감도를 확인한다.
• AIC 기법은 훈련 중에 인지적으로 해로운 왜곡을 효과적으로 식별하고 억제하여 더 높은 품질의 JND 출력을 이끈다.
• 학습된 특징으로서의 시각적 주의 통합은 특히 주목할 만한 영역에서 JND 분포의 공간 일관성을 향상시킨다.
• 모델은 이미지 콘텐츠에 따라 JND 분포를 적응적으로 조정하며, 다양한 시각적 복잡도를 가진 이미지에서 다른 패턴을 보인다.
• 생성된 JND에서 지배적인 왜곡 유형은 JPEG/JPEG2000 유사 압축 왜곡이며, 이는 모델이 인지적으로 타당한 왜곡을 학습하고 있음을 시사한다.