[논문 리뷰] PicArrange -- Visually Sort, Search, and Explore Private Images on a Mac Computer

Klaus Jung, Kai Uwe Barthel외 2명|arXiv (Cornell University)|2021. 11. 26.

Advanced Image and Video Retrieval Techniques인용 수 5

한 줄 요약

PicArrange는 CNN 기반 시각적 특징 추출과 리스트 기반 시각적 정렬을 위한 수정된 Self-Sorting Map 알고리즘을 사용하여 로컬에서 개인적인 이미지 관리를 지원하는 네이티브 macOS 애플리케이션입니다. 애플리케이션은 압축된 특징 벡터를 로컬에 저장하여 초기 색인 후 밀리초 수준의 저지연성 성능을 달성하며, 수천 개의 이미지를 여러 폴더에 걸쳐 검색, 정렬, 탐색할 수 있습니다. 이로 인해 검색 시간이 1초 이내로 확보됩니다.

ABSTRACT

The native macOS application PicArrange integrates state-of-the-art image sorting and similarity search to enable users to get a better overview of their images. Many file and image management features have been added to make it a tool that addresses a full image management workflow. A modification of the Self Sorting Map algorithm enables a list-like image arrangement without loosing the visual sorting. Efficient calculation and storage of visual features as well as the use of many macOS APIs result in an application that is fluid to use.

연구 동기 및 목표

• 개인 이미지 컬렉션을 위한 macOS에서의 네이티브 시각적 이미지 정렬 및 유사도 검색의 부재를 보완하기 위해.
• 로컬 드라이브, 네트워크 공유 또는 클라우드 폴더에 저장된 대규모 이미지 컬렉션에 대해 효율적이고 비공개적이며 상호작용 가능한 탐색을 가능하게 하기 위해.
• 파일 작업,预시, 메타데이터 표시와의 통합을 위해 시스템 API와 통합된 원활한 네이티브 macOS 경험을 제공하기 위해.
• 타원형 지도가 아닌 컬럼 기반 리스트 레이아웃을 사용하여 시각적 일관성과 사용자 친화성을 유지하고, 인위적인 이미지 반복이나 빈 공간을 방지하기 위해.
• 모든 이미지 분석을 로컬에서 수행하고 압축된 특징 벡터만 저장함으로써 성능과 개인정보 보호를 확보하기 위해.

제안 방법

• 자기정렬 지도(SSF) 알고리즘을 수정하여 스캔라인 순서의 비직사각형 경계를 사용하는 경계 처리 전략을 적용하여, 컬럼 기반 레이아웃에서 빈 공간이나 중복을 방지합니다.
• 사전 훈련된 네트워크를 사용하여 각 이미지의 딥 CNN 기반 시각적 특징 벡터를 계산한 후, 저장소 오버헤드를 최소화하기 위해 압축합니다.
• 특징 벡터를 파일 시스템에 로컬에 저장하여 데이터 프라이버시를 유지하고 클라우드 전송을 방지합니다.
• 파일 시스템 탐색, 썸네일 생성, 메타데이터 추출, 그리고 파일맨, 미리보기, 기타 앱과의 통합을 위해 네이티브 macOS API를 활용합니다.
• 쿼리 이미지의 특징와 저장된 모든 특징 벡터 간의 L2-거리 계산을 통해 유사도 검색을 구현하고, 결과는 거리에 따라 정렬합니다.
• 다중 폴더 이미지 브라우징, 이름, 날짜, 크기 등의 메타데이터 기반 필터링, 드래그 앤 드롭, 삭제, 외부 앱 실행 등의 상호작용 기능을 지원합니다.

실험 결과

연구 질문

• RQ1 네이티브 macOS 애플리케이션은 클라우드 서비스에 의존하지 않고도 효율적이고 비공개적이며 시각적으로 직관적인 이미지 정렬 및 유사도 검색을 제공할 수 있는가?
• RQ2 자기조직화 지도는 어떻게 선형적이고 컬럼 기반의 레이아웃에 적합하게 수정될 수 있으며, 빈 공간이나 강제로 반복되는 이미지와 같은 시각적 결함을 방지할 수 있는가?
• RQ3 로컬에서 특징 계산 및 저장을 수행할 경우, 대규모 이미지 컬렉션의 지연 시간을 얼마나 줄이고 반응성을 향상시킬 수 있는가?
• RQ4 네이티브 macOS API와의 통합은 크로스플랫폼 또는 웹 기반 솔루션 대비 사용성과 성능을 얼마나 향상시키는가?
• RQ5 사용자는 반복적인 시각적 검색 과정에서 폴더 변경 시에도 선택 상태와 컨텍스트를 유지할 수 있는가?

주요 결과

• SSD에서 5,300장의 JPEG 이미지를 색인하는 데 총 340초(1장당 64ms)의 처리 시간을 기록하였으며, 특징 추출과 정렬이 모두 로컬에서 수행되었습니다.
• 후속 실행에서는 캐시된 특징 벡터를 사용하여 처리 시간이 단 1.7초(1장당 0.32ms)로 감소하여 초기 설정 이후 높은 효율성을 입증했습니다.
• SSM 알고리즘의 수정된 경계 처리 전략이, 컬럼 수로 나누어 떨어지지 않는 경우에도 리스트 레이아웃에서 빈 공간이나 중복 이미지를 효과적으로 방지함을 입증했습니다.
• 다중 폴더를 대상으로 실시간으로 유사도 검색을 지원하며, 결과는 쿼리 이미지 특징과의 L2-거리에 따라 순서가 정렬되어 검색 결과의 반복적인 개선이 가능합니다.
• 드래그 앤 드롭, 파일 삭제, 미리보기, 외부 앱 실행 등의 네이티브 macOS 기능 통합을 통해 원활하고 친숙한 사용자 경험을 제공합니다.
• PicArrange는 RAW를 포함한 모든 표준 macOS 이미지 형식을 지원하며, 비디오와 PDF의 썸네일도 표시할 수 있어 기능적으로 완전한 이미지 브라우저로서의 유용성을 높입니다.