[論文レビュー] CaRENets: Compact and Resource-Efficient CNN for Homomorphic Inference on Encrypted Medical Images

Chao Jin, Ahmad Al Badawi+10 more|arXiv (Cornell University)|Jan 29, 2019

Cryptography and Data Security参考文献 31被引用数 14

ひとこと要約

CaRENetsは、高解像度の暗号化医療画像における完全準同型暗号（FHE）ベースの推論を実現するコン pact でリソース効率の高いCNNフレームワークを提案する。FHEパッキング方式をCNN演算と密接に統合することで、従来のインタリーブドパッキングに比べてメモリ効率が45倍向上し、推論速度が4–5倍速くなった。これにより、臨床現場における網膜画像解析のための実用的でプライバシー保護型のディープラーニングが可能になった。

ABSTRACT

Convolutional neural networks (CNNs) have enabled significant performance leaps in medical image classification tasks. However, translating neural network models for clinical applications remains challenging due to data privacy issues. Fully Homomorphic Encryption (FHE) has the potential to address this challenge as it enables the use of CNNs on encrypted images. However, current HE technology poses immense computational and memory overheads, particularly for high-resolution images such as those seen in the clinical context. We present CaRENets: Compact and Resource-Efficient CNNs for high performance and resource-efficient inference on high-resolution encrypted images in practical applications. At the core, CaRENets comprises a new FHE compact packing scheme that is tightly integrated with CNN functions. CaRENets offers dual advantages of memory efficiency (due to compact packing of images and CNN activations) and inference speed (due to the reduction in the number of ciphertexts created and the associated mathematical operations) over standard interleaved packing schemes. We apply CaRENets to perform homomorphic abnormality detection with 80-bit security level in two clinical conditions - Retinopathy of Prematurity (ROP) and Diabetic Retinopathy (DR). The ROP dataset comprises 96 x 96 grayscale images, while the DR dataset comprises 256 x 256 RGB images. We demonstrate over 45x improvement in memory efficiency and 4-5x speedup in inference over the interleaved packing schemes. As our approach enables memory-efficient low-latency HE inference without imposing additional communication burden, it has implications for practical and secure deep learning inference in clinical imaging.

研究の動機と目的

• 患者データがクラウドベースの推論中に暗号化されたまま保たれる必要がある臨床画像におけるプライバシー保護型ディープラーニングの導入という重要な課題に取り組む。
• 高解像度の医療画像（例：256×256 RGB）に適用された既存の完全準同型暗号（FHE）方式では計算およびメモリのオーバーヘッドが著しく高いため、その課題を克服する。
• 網膜症のスクリーニング（ROP）や糖尿病網膜症（DR）スクリーニングなどの実世界の臨床応用に適した、実用的で低遅延の推論を実現する。
• 暗号文の体積と数学的演算の数を削減するコン pact なパッキング戦略を設計し、メモリ効率と推論速度の両方を向上させる。
• 通信負荷やハードウェア負荷を増加させることなく、暗号化された網膜画像上で安全で効率的なCNN推論が可能であることを実証する。

提案手法

• FHE暗号化データ構造における冗長性を最小限に抑えることで、行列やベクトルをより少ない暗号文に効率的にマッピングする新しいコン pact なパッキング方式を導入する。
• コン pact なパッキング戦略を活用し、加法、乗法、転置などの同型演算を暗号化された行列上で実行可能な、カスタムの行列計算ライブラリ A∗HEMAT を開発する。
• コン pact なパッキングと最適化された行列-ベクトル乗算をCNN層に密接に統合し、暗号文の数と関連する同型演算の数を削減する。
• 医療画像ワークロードに最適化するため、FHEパrameter空間（例：log₂n = 14, log₂q = 660）を最適化し、セキュリティ（80ビット）とパフォーマンスのバランスを取る。
• CPUベースのFHEスタックを用いて、実際の臨床データセット（ROP：96×96グレースケール；DR：256×256 RGB）上で手法を実装・ベンチマークする。
• メモリ使用量、推論時間、セキュリティレベルの観点から、標準的なインタリーブドパッキング方式と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 コン pact なFHEパッキング戦略は、高解像度の医療画像における同型CNN推論において、メモリと計算のオーバーヘッドを顕著に低減できるか？
• RQ2 臨床画像ワークロードにおいて、提案されたパッキング方式は標準的なインタリーブドパッキングに比べて、どの程度推論速度とメモリ効率を向上できるか？
• RQ3 256×256 RGBの網膜画像に対して、FHEを用いて許容可能な遅延とリソース使用量でプライバシー保護型のCNN推論を実行することが可能か？
• RQ4 モデルの精度と計算効率のトレードオフは、医療スクリーニングに適したリソース制限のあるFHEベースのCNNにおいて、どのように現れるか？
• RQ5 提案手法は、暗号化データ上で安全で低遅延の推論を要する他の医療画像応用に一般化可能か？

主な発見

• CaRENetsは、標準的なインタリーブドパッキング方式に比べて、96×96画像の場合、135 GBから2.94 GBにまでメモリ使用量を削減し、45倍以上のメモリ効率向上を達成した。
• ROPデータセットでは、推論時間の遅延を3946.4秒から994.9秒にまで短縮し、4–5倍の高速化を達成した。
• より要求の高い256×256 RGBのIDRiDデータセットでは、CaRENetsはわずか17.2 GBのメモリで推論を正常に実行したが、インタリーブド方式ではメモリ不足（188 GB以上必要）により失敗した。
• IDRiDデータセットでは、コン pact なパッキング方式により17.2 GBのメモリ使用量で6004.7秒の推論が実現され、高解像度の臨床画像へのスケーラビリティが実証された。
• すべての実験において80ビットのセキュリティレベルを維持しており、パフォーマンスに悪影響を及げることなく強力な暗号的保証を提供した。
• 結果として、コン pact なパッキングが、実用的で低遅延かつメモリ効率の高い暗号化医療画像の同型推論を可能にし、実世界のスクリーニング応用に適していることが検証された。