[論文レビュー] PicArrange -- Visually Sort, Search, and Explore Private Images on a Mac Computer

Klaus Jung, Kai Uwe Barthel+2 more|arXiv (Cornell University)|Nov 26, 2021

Advanced Image and Video Retrieval Techniques被引用数 5

ひとこと要約

PicArrange は、CNN に基づく視覚的特徴抽出とリストベースの視覚的整列に特化した改良型 Self-Sorting Map アルゴリズムを用いたネイティブ macOS アプリケーションであり、ローカルでプライベートに画像を管理できます。初期インデックス作成後、サブ秒レベルの検索時間を実現するため、特徴ベクトルをローカルに圧縮保存することで、複数のフォルダにまたがる数千枚の画像を低遅延で検索・整列・探索可能です。

ABSTRACT

The native macOS application PicArrange integrates state-of-the-art image sorting and similarity search to enable users to get a better overview of their images. Many file and image management features have been added to make it a tool that addresses a full image management workflow. A modification of the Self Sorting Map algorithm enables a list-like image arrangement without loosing the visual sorting. Efficient calculation and storage of visual features as well as the use of many macOS APIs result in an application that is fluid to use.

研究の動機と目的

• macOS における個人用画像コレクション向けのネイティブな視覚的画像整列および類似性検索の不足に対処すること。
• ローカルドライブ、ネットワーク共有、クラウドフォルダに保存された大規模な画像コレクションを、効率的でプライベートかつインタラクティブに探索できるようにすること。
• ファイル操作、プレビュー、メタデータ表示のシステム API との統合を図った、スムーズでネイティブな macOS 経験を提供すること。
• トロイダルマップではなくカラムベースのリストレイアウトを採用することで、視覚的一貫性とユーザーの慣れを維持し、人工的な画像の繰り返しや穴を回避すること。
• すべての画像分析をローカルで実行し、圧縮された特徴ベクトルのみを保存することで、パフォーマンスとプライバシーを確保すること。

提案手法

• カラムベースのレイアウトで穴や重複を回避するため、スキャンライン順序で処理される非長方形の境界を用いた、改良型の境界処理戦略を適用した Self-Sorting Map (SSM) アルゴリズムの応用。
• 事前学習済みネットワークを用いて各画像の深層 CNN に基づく視覚的特徴ベクトルを計算し、ストレージオーバーヘッドを最小限に抑えるために圧縮する。
• ファイルシステム上に特徴ベクトルをローカルに保存することで、データプライバシーを保ち、クラウド転送を回避する。
• macOS のネイティブ API を活用して、ファイルシステム走査、サムネイル生成、メタデータ抽出、Finder やプレビュー、その他のアプリとの統合を実現する。
• クエリ画像の特徴とすべての保存済み特徴ベクトルとの間で L2 距離を計算し、類似度に応じて結果をソートすることで類似性検索を実装する。
• 複数フォルダの画像ブラウジング、名前・日付・サイズなどのメタデータによるフィルタリング、ドラッグアンドドロップ、削除、外部アプリ起動などのインタラクティブ操作をサポートする。

実験結果

リサーチクエスチョン

• RQ1 ネイティブ macOS アプリケーションは、クラウドサービスに依存せずに、効率的でプライベートかつ視覚的に直感的な画像整列と類似性検索を提供できるか？
• RQ2 自己組織化マップを線形でカラムベースのレイアウトにどのように適合させれば、穴や強制的な画像繰り返しといった視覚的アーチファクトを回避できるか？
• RQ3 ローカルでの特徴計算とストレージにより、大規模な画像コレクションにおける遅延をどの程度低減し、応答性を向上させられるか？
• RQ4 ネイティブ macOS API との統合は、クロスプラットフォームやウェブベースの代替手段と比較して、使いやすさとパフォーマンスにどの程度寄与するか？
• RQ5 繰り返しの視覚的検索中にフォルダ変更が行われても、ユーザーが選択状態やコンテキストを維持できるか？

主な発見

• SSD 上で 5,300 枚の JPEG 画像をインデックス作成する際、PicArrange は合計 340 秒（1 枚あたり 64 ms）の処理時間を達成し、特徴抽出と整列処理をすべてローカルで実行した。
• 2 回目以降の実行では、キャッシュされた特徴ベクトルを使用するため、処理時間はわずか 1.7 秒（1 枚あたり 0.32 ms）にまで短縮され、初期セットアップ後の高い効率性が実証された。
• SSM アルゴリズムにおける改良型境界処理により、カラム数で画像枚数が割り切れない場合でも、リストレイアウトにおける視覚的アーチファクト（穴や重複画像）が効果的に回避された。
• 複数フォルダにまたがるリアルタイムの類似性検索が可能で、L2 距離に基づきクエリ画像の特徴と照合し、結果を近さ順にソートすることで、検索結果の段階的改善が可能になった。
• ドラッグアンドドロップ、ファイル削除、プレビュー、外部アプリ起動といったネイティブ macOS 機能との統合により、スムーズで馴染みやすいユーザー体験が実現した。
• PicArrange は RAW を含むすべての標準的な macOS 画像フォーマットをサポートし、動画や PDF のサムネイル表示も可能で、包括的な画像ブラウザとしての実用性が向上した。