[논문 리뷰] A Privacy-Preserving Content-Based Image Retrieval Scheme Allowing Mixed Use Of Encrypted And Plain Images

Kenta Iida, Hitoshi Kiya|arXiv (Cornell University)|2020. 10. 31.

Advanced Image and Video Retrieval Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 클라우드 환경에서 암호화된 이미지(EtC)와 일반 이미지를 혼합하여 사용할 수 있는 프라이버시 보장형 콘텐츠 기반 이미지 검색(CBIR) 기법을 제안한다. 암호화의 영향을 완화하기 위해 확장된 SIMPLE 서술자와 확장 가능한 색상 서술자(SCD)를 활용함으로써, 일반 이미지로 구현된 전통적 방법과 동등한 검색 성능을 달성한다. 이는 EtC 이미지와 일반 이미지를 동일한 데이터베이스에 함께 색인화할 때에도 성립한다.

ABSTRACT

In this paper, we propose a novel content based-image retrieval scheme allowing the mixed use of encrypted and plain images for the first time. In the proposed scheme, images are encrypted by a block-scrambling method developed for encryption-then-compression (EtC) systems. The encrypted images, referred to as EtC images, can be compressed with JPEG, as well as for plain images. Image descriptors used for the proposed retrieval is designed to avoid the effect of image encryption. As a result, the use of EtC images and the descriptors allows us to carry out retrieval of both encrypted images and plain ones. In an experiment, the proposed scheme is demonstrated to have the same performance as conventional retrieval methods with plain images, even under the mixed use of plain images and EtC ones.

연구 동기 및 목표

• 저장된 이미지와 쿼리 이미지의 프라이버시를 모두 보호해야 하는 신뢰할 수 없는 클라우드 환경에서 안전한 이미지 검색을 가능하게 한다.
• 압축 가능하고 암호화된 이미지(EtC 이미지)를 일반 이미지와 함께 사용할 경우 높은 검색 정확도를 유지하는 데 도전한다.
• EtC 이미지에서 사용하는 블록 뒤섞기 및 회전/역행렬 암호화 연산에 강건한 서술자 체계를 설계한다.
• 암호화된 이미지와 일반 이미지가 동시에 존재하는 단일 이미지 데이터베이스에서 공존하는 혼합 배포 환경을 지원한다.
• EtC 이미지에 표준 JPEG 압축을 적용해도 성능 저하 없이 호환성을 확보한다.

제안 방법

• 암호화-다음에 압축(EtC) 시스템을 위해 설계된 블록 뒤섞기 방법을 사용하여 이미지를 암호화한다. 이는 비밀 키를 활용한 랜덤 블록 순서 변경과 회전/역행렬을 포함한다.
• EtC 암호화에서 발생하는 블록 수준의 변환에 대해 불변성을 가지도록 설계된 확장된 SIMPLE 서술자를 사용하여 이미지 서술자를 생성한다.
• 확장된 SIMPLE 서술자와 확장 가능한 색상 서술자(SCD)를 조합하여 암호화 조건 하에서도 강건성과 검색 정확도를 향상시킨다.
• 패치 기반 특징 추출 및 코드북 생성을 통해 가중치가 부여된 SIMPLE 서술자를 활용하여 암호화 영향에 강건한 히스토GRAM 기반 서술자를 구축한다.
• 비밀 키($\mathbf{K}_i = [K_1(i), K_2(i)]$)를 별도로 저장하여 다양한 암호화 키 간에도 안전한 복호화 및 서술자 일관성을 확보한다.
• EtC 이미지가 일반 이미지와 유사한 압축 효율성을 유지하므로, JPEG 압축과의 호환성을 확보한다.

실험 결과

연구 질문

• RQ1 동일한 데이터베이스에 EtC 이미지와 일반 이미지를 함께 색인화할 때, CBIR 시스템이 높은 검색 정확도를 유지할 수 있는가?
• RQ2 EtC 암호화에서 발생하는 블록 뒤섞기 및 블록 회전 연산이 서술자 기반 이미지 검색에 어느 정도 영향을 미치는가?
• RQ3 확장된 SIMPLE 서술자가 EtC 암호화의 영향을 효과적으로 완화하면서도 검색 성능을 유지할 수 있는가?
• RQ4 JPEG 압축을 적용한 EtC 이미지를 사용할 때, 일반 이미지 기반 CBIR 시스템과 비교해 유사한 검색 성능을 달성할 수 있는가?
• RQ5 일반 이미지와 암호화된 이미지를 혼합하여 사용하는 쿼리 시나리오에서 제안된 기법의 성능은 어떠한가?

주요 결과

• 제안된 기법은 EtC 이미지와 일반 이미지를 동시에 색인화하는 상황에서도 기존의 일반 이미지 기반 CBIR 방법과 동등한 평균 정밀도(mAP) 점수를 달성한다.
• UKbench 데이터셋에서 512차원 서술자를 사용한 결과, 제안된 기법은 mAP 0.9292를 기록했으며, SURF(0.8355) 및 CEDD(0.8806)와 같은 기존 방법들을 능가했다.
• INRIA Holidays 데이터셋에서 512차원 서술자를 사용한 결과, 제안된 기법은 mAP 0.7837을 기록했으며, SURF(0.6986) 및 CEDD(0.7247)와 같은 기존 방법들을 뛰어넘었다.
• 다양한 비밀 키($\mathbf{K}_i \neq \mathbf{K}_U$) 조건에서도 검색 성능이 일관되게 유지되어 키 변동에 대한 강건성을 확인했다.
• EtC 이미지가 JPEG로 압축되어도 높은 성능을 유지하여 표준 이미지 압축과의 호환성을 입증했다.
• 확장된 SIMPLE 서술자의 사용으로 인해 EtC 암호화에서 발생하는 블록 뒤섞기 및 회전/역행렬 효과가 효과적으로 제거되어 정확한 검색이 가능해졌다.