[논문 리뷰] High dynamic range image forensics using cnn

Yongqing Huo, Xiaofeng Zhu|arXiv (Cornell University)|2019. 02. 28.

Digital Media Forensic Detection참고 문헌 13인용 수 5

한 줄 요약

이 논문은 다중 LDR 이미지에서 합성된 HDR 이미지와 단일 LDR 이미지에서의 역 톤 매핑을 통해 생성된 HDR 이미지를 구분하기 위해 컨volutional 신경망(CNN)을 기반으로 한 최초의 딥러닝 기반 방법을 제안한다. 이 방법은 고유한 CNN 아키텍처를 통해 통계적 특징 변화를 학습하여 기존의 통계적 방법에 비해 원본 식별 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

High dynamic range (HDR) imaging has recently drawn much attention in multimedia community. In this paper, we proposed a HDR image forensics method based on convolutional neural network (CNN).To our best knowledge, this is the first time to apply deep learning method on HDR image forensics. The proposed algorithm uses CNN to distinguish HDR images generated by multiple low dynamic range (LDR) images from that expanded by single LDR image using inverse tone mapping (iTM). To do this, we learn the change of statistical characteristics extracted by the proposed CNN architectures and classify two kinds of HDR images. Comparision results with some traditional statistical characteristics shows efficiency of the proposed method in HDR image source identification.

연구 동기 및 목표

• HDR 이미지 포렌식 분야에서 딥러닝 접근법의 부족을 보완하기 위해.
• HDR 이미지의 원본을 특정하기 위해, 즉 다수의 LDR 이미지에서 생성되었는지 또는 단일 LDR 이미지의 역 톤 매핑을 통해 생성되었는지 식별하기 위해.
• 엔드 투 엔드 딥러닝을 통해 HDR 이미지 원본 식별 정확도를 향상시키기 위해.
• CNN 기반 프레임워크를 사용하여 HDR 이미지의 통계적 특성 변화를 분석하고 분류하기 위해.

제안 방법

• HDR 이미지의 통계적 특징 변화를 추출하고 학습하기 위해 고안된 고유한 컨volutional 신경망(CNN) 아키텍처를 설계한다.
• 네트워크는 다수의 LDR 이미지에서 생성된 HDR 이미지와 단일 LDR 이미지에서의 역 톤 매핑(iTM)을 통해 생성된 HDR 이미지로 나누어 분류하도록 훈련된다.
• CNN의 계층적 특징 추출 능력을 활용하여 두 클래스 간의 HDR 이미지 통계적 특성 변화를 학습하고 비교한다.
• 감독 분류를 사용하여 알려진 생성 원본을 가진 HDR 이미지 데이터셋을 기반으로 모델을 훈련하고 평가한다.
• CNN의 계층적 표현 학습 능력을 활용하여 수작업 특징으로서 쉽게 포착되지 않는 이미지 통계의 미세한 차이를 탐지한다.
• 분류 정확도에서 전통적인 통계적 특징 기반 방법과의 성능 비교를 통해 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 다수의 LDR 이미지에서 생성된 HDR 이미지와 단일 LDR 이미지의 역 톤 매핑을 통해 생성된 HDR 이미지를 효과적으로 구분할 수 있는가?
• RQ2 다중 LDR와 단일 LDR 생성 원본 간의 HDR 이미지 통계적 특징은 어떻게 다름과 동시에 이러한 차이를 CNN가 효과적으로 포착할 수 있는가?
• RQ3 HDR 이미지 원본 식별에서 CNN 기반 접근법은 전통적인 통계적 특징 기반 방법보다 우수한가?
• RQ4 엔드 투 엔드 딥러닝은 고전적 포렌식 기법에 비해 HDR 이미지 포렌식 분야에서 어떤 수준의 성능 향상을 제공하는가?

주요 결과

• 제안된 CNN 기반 방법은 전통적인 통계적 특징 기반 접근법에 비해 HDR 이미지 원본 식별에서 더 높은 분류 정확도를 달성한다.
• 모델은 다양한 프로세스를 통해 생성된 HDR 이미지의 미세한 통계적 차이를 성공적으로 학습하고 활용한다.
• 딥러닝의 활용은 수동으로 설계된 통계적 특징에 대한 의존도를 감소시키며 자동적이고 강력한 특징 학습을 가능하게 한다.
• 결과는 CNN을 HDR 이미지 포렌식에 적용하는 것이 실현 가능하고 효과적이며, 이 분야에서 딥러닝의 새로운 응용 사례임을 보여준다.