[論文レビュー] Improving Certified Robustness via Statistical Learning with Logical Reasoning

Zhuolin Yang, Zhikuan Zhao+9 more|arXiv (Cornell University)|Feb 28, 2020

Adversarial Robustness in Machine Learning参考文献 49被引用数 6

ひとこと要約

本稿では、統計的学習と論理的推論をマークフ・ロジック・ネットワーク（MLN）を介して統合することで、機械学習における認証可能ロバスト性を向上させる新規フレームワークを提案する。MLNのロバスト性を認証する問題が#P困難であることを証明し、MLNにおける最初の認証可能ロバスト性バウンディングを導出。画像やテキストを含む5つの多様なデータセットにおいて、最先端の手法を顕著に上回る性能を示した。

ABSTRACT

Intensive algorithmic efforts have been made to enable the rapid improvements of certificated robustness for complex ML models recently. However, current robustness certification methods are only able to certify under a limited perturbation radius. Given that existing pure data-driven statistical approaches have reached a bottleneck, in this paper, we propose to integrate statistical ML models with knowledge (expressed as logical rules) as a reasoning component using Markov logic networks (MLN, so as to further improve the overall certified robustness. This opens new research questions about certifying the robustness of such a paradigm, especially the reasoning component (e.g., MLN). As the first step towards understanding these questions, we first prove that the computational complexity of certifying the robustness of MLN is #P-hard. Guided by this hardness result, we then derive the first certified robustness bound for MLN by carefully analyzing different model regimes. Finally, we conduct extensive experiments on five datasets including both high-dimensional images and natural language texts, and we show that the certified robustness with knowledge-based logical reasoning indeed significantly outperforms that of the state-of-the-arts.

研究の動機と目的

• 現在の認証可能ロバスト性手法に起因する制限、すなわち深層ニューラルネットワークにおける小さな摂動半径に限定されることを解決すること。
• 論理的推論（例：MLNを介して）によるドメイン知識の統合が、純粋なデータ駆動型アプローチを上回る認証可能ロバスト性を向上させ得るかどうかを調査すること。
• 論理的推論コンポーネント（例：MLN）におけるロバスト性の認証の計算複雑性を形式的に分析すること。
• パrameterの摂動下でのMLNにおける最初の認証可能ロバスト性バウンディングを導出することにより、センシング・リーズニングパイプラインにおけるエンドツーエンドの認証可能ロバスト性を可能にすること。

提案手法

• 統計モデル（例：DNN）が確率的予測を出力するセンシング・リーズニングパイプラインを提案。その出力を論理的推論コンポーネント（例：MLN）が入力として受ける。
• 推論コンポーネントをマークフ・ロジック・ネットワーク（MLN）としてモデル化。MLNは論理規則と確率的グラフィカルモデルを統合する。
• 既知の#P完全な数え上げ問題への還元により、MLNのロバスト性認証が#P困難であることを証明。
• 指数分布族の分布における関数的構造を活用し、モデルの状態を分析することで、MLNの認証可能ロバスト性バウンディングを導出。
• モデルパラメータ内の摂動を最適化することにより、最終出力確率のロバスト性区間を計算するためのアルゴリズムを開発。
• 二分木構造のベイジアンネットワークを特別なケースとして、微分係数と制約付き最適化を用いて閉形式解を提供。これにより、効率的なロバスト性認証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 推論の複雑性が#P困難であることを踏まえ、MLNのような推論コンポーネントの認証可能ロバスト性は計算的に可能か？
• RQ2 統計的学習パイプラインに論理規則とドメイン知識を統合することで、純粋なデータ駆動型モデルに比べて認証可能ロバスト性が向上するか？
• RQ3 パrameterの摂動下でのMLNの理論的ロバスト性バウンディングは何か？ そして、それを効率的に計算する方法は？
• RQ4 推論モデルの構造的形（例：二分木）が、ロバスト性認証の tractability にどのように影響するか？
• RQ5 提案されたフレームワークは、確率的かつ規則ベースの推論コンポーネントを備えたセンシング・リーズニングパイプラインにおいて、エンドツーエンドの認証可能ロバスト性を達成できるか？

主な発見

• 本稿では、MLNのロバスト性認証が#P困難であることを証明し、推論ベースの認証防御における根本的な計算複雑性の障壁を確立した。
• 構造的モデル仮定の下で摂動が周辺確率に与える影響を分析することにより、MLNにおける最初の認証可能ロバスト性バウンディングを導出した。
• 二分木構造のベイジアンネットワークに対しては、偏微分と制約付き最適化を用いて、ロバスト性認証の閉形式解を提供した。
• 画像および自然言語を含む5つのデータセットにおける実験では、提案手法が最先端の認証可能ロバスト性ベースラインを顕著に上回った。
• 論理的推論と統計的学習の統合により、高次元かつ複雑なデータ環境において、認証可能ロバスト性に顕著な改善が得られた。
• 結果は、知識に基づく推論が、データ駆動型モデルのみで達成可能な範囲を超えてロバスト性を向上させることを確認した。これは、敵対的摂動下でも同様に成立する。