[論文レビュー] Efficient ML Models for Practical Secure Inference

Vinod Ganesan, Anwesh Bhattacharya+4 more|arXiv (Cornell University)|Aug 26, 2022

Radiomics and Machine Learning in Medical Imaging被引用数 4

ひとこと要約

本論文は、安全な2者計算（2PC）のためのモデルアーキテクチャと計算の最適化を通じて、深層学習モデルにおける安全な推論を実用化するフレームワークを提案する。暗号にやさしいX演算子、効率的な畳み込み因子化、Winogradアルゴリズムの統合を導入し、DenseNet-121を用いた胸部X線診断において、通信コストを最大30倍まで低減したが、AUCの損失は0.02以下に抑えられた。

ABSTRACT

ML-as-a-service continues to grow, and so does the need for very strong privacy guarantees. Secure inference has emerged as a potential solution, wherein cryptographic primitives allow inference without revealing users' inputs to a model provider or model's weights to a user. For instance, the model provider could be a diagnostics company that has trained a state-of-the-art DenseNet-121 model for interpreting a chest X-ray and the user could be a patient at a hospital. While secure inference is in principle feasible for this setting, there are no existing techniques that make it practical at scale. The CrypTFlow2 framework provides a potential solution with its ability to automatically and correctly translate clear-text inference to secure inference for arbitrary models. However, the resultant secure inference from CrypTFlow2 is impractically expensive: Almost 3TB of communication is required to interpret a single X-ray on DenseNet-121. In this paper, we address this outstanding challenge of inefficiency of secure inference with three contributions. First, we show that the primary bottlenecks in secure inference are large linear layers which can be optimized with the choice of network backbone and the use of operators developed for efficient clear-text inference. This finding and emphasis deviates from many recent works which focus on optimizing non-linear activation layers when performing secure inference of smaller networks. Second, based on analysis of a bottle-necked convolution layer, we design a X-operator which is a more efficient drop-in replacement. Third, we show that the fast Winograd convolution algorithm further improves efficiency of secure inference. In combination, these three optimizations prove to be highly effective for the problem of X-ray interpretation trained on the CheXpert dataset.

研究の動機と目的

• 大規模な深層学習モデルにおける安全な推論における非現実的な通信コストを解消すること。
• 特に大きな線形層と畳み込み演算に起因する安全な推論の主なボトル neck を同定し、最適化すること。
• 安全な2PCを用いた高リスク分野（医療分野など）における実用的でプライバシー保護型の機械学習推論を可能にすること。
• CrypTFlow2フレームワークに効率的で安全に適した演算子とアルゴリズムを統合し、エンドツーエンドの安全な推論コンパイルを実現すること。
• 顕著な効率化が、モデルの精度や正しさを損なわず実現可能であることを実証すること。

提案手法

• 標準的な畳み込み層の安全で効率的なドロップインリプレースとしてのX演算子を設計・実装し、因子化、シャッフル操作、加算を多用する計算を統合した。
• 密な畳み込みを深度可分畳み込みに変換する因子化を適用し、平均で4.07倍の通信コスト低減を達成した。
• CrypTFlow2のAthosコンパイラー前段で高速なWinograd畳み込みアルゴリズムを統合し、精度に損失を生じさせることなく密な畳み込みを高速化した。
• 因子化された畳み込みにおけるチャネル単位の変換を最適化するためにシャッフル操作を用い、通信コストを平均1.1倍低減した。
• X演算子とWinograd、その他の最適化を組み合わせることで、複数のモデルアーキテクチャにわたり累積的な効率向上を達成した。
• すべての最適化をCrypTFlow2でエンドツーエンドに評価し、明文推論と安全な推論の出力がビット単位で同一であることを保証した。

実験結果

リサーチクエスチョン

• RQ1 DenseNet-121のような大規模モデルにおける安全な推論における主な通信ボトル neck は何か？
• RQ2 効率的な明文推論用演算子を安全な推論に適応させることで、通信コストを低減できるか、かつ精度を損なわないか？
• RQ3 X演算子は、通信コストと遅延の観点から、安全な推論における標準畳み込みの置き換えとしてどれほど有効か？
• RQ4 Winogradアルゴリズムは、密な畳み込みにおける安全な推論の通信コストをどれほど低減できるか？
• RQ5 アーキテクチャ的選択、カスタム演算子、アルゴリズム的最適化の組み合わせにより、医療画像解析における実用的な安全な推論が達成可能か？

主な発見

• X演算子は、基準となるDenseNet-121と比較して、通信コストを最大30.8倍まで低減した（ResNet-18では19.1倍、MobileNetV3では30.15倍）、AUCの損失は0.02にとどまった。
• 因子化された畳み込みは、平均で4.07倍の通信コスト低減を達成した。ResNet-18ではR′F対DD比較で12.41倍の低減を達成した。
• Winogradアルゴリズムは、密な畳み込みにおいて平均2.12倍の通信コスト低減を達成し、精度に損失は生じなかった。
• シャッフル操作はわずかな利点をもたらし、因子化された畳み込みよりも平均1.1倍の通信コスト低減を達成した。
• X演算子とWinogradの組み合わせにより、通信コストは30.8倍（SXW）まで低減され、基準となるDenseNet-121と比較してAUC損失は0.02にとどまった。
• すべての最適化済みモデルは、明文推論とビット単位で同一の出力を維持しており、正しさと耐障害性が保証された。