[論文レビュー] Protect, Show, Attend and Tell: Empowering Image Captioning Models with Ownership Protection

Jian Han Lim, Chee Seng Chan+3 more|arXiv (Cornell University)|Aug 25, 2020

Multimodal Machine Learning Applications参考文献 29被引用数 4

ひとこと要約

本稿では、再帰ニューラルネットワーク（RNN）の隠れ状態に秘密鍵を埋め込むことで、画像キャプション生成モデルに対する画期的な鍵ベース所有権保護メカニズムを提案する。この方法により、正当な鍵を備えたモデル以外は高品質なキャプションを生成できず、元のモデル性能を損なわず、改ざんや曖昧化攻撃に対しても強固な保護が可能となる。MS-COCOおよびFlickr30kデータセット上で実験した結果、本手法は、鍵の不正使用を効果的に防止する。

ABSTRACT

By and large, existing Intellectual Property (IP) protection on deep neural networks typically i) focus on image classification task only, and ii) follow a standard digital watermarking framework that was conventionally used to protect the ownership of multimedia and video content. This paper demonstrates that the current digital watermarking framework is insufficient to protect image captioning tasks that are often regarded as one of the frontiers AI problems. As a remedy, this paper studies and proposes two different embedding schemes in the hidden memory state of a recurrent neural network to protect the image captioning model. From empirical points, we prove that a forged key will yield an unusable image captioning model, defeating the purpose of infringement. To the best of our knowledge, this work is the first to propose ownership protection on image captioning task. Also, extensive experiments show that the proposed method does not compromise the original image captioning performance on all common captioning metrics on Flickr30k and MS-COCO datasets, and at the same time it is able to withstand both removal and ambiguity attacks. Code is available at https://github.com/jianhanlim/ipr-imagecaptioning

研究の動機と目的

• 既存のウォーターマーキングフレームワークでは軽視されがちな、画像キャプションモデルに対する知的財産（IP）保護の欠如に取り組む。
• 不正利用を防止する、能動的でコスト効率が良く、迅速なIP保護メカニズムを構築する。
• 正当な秘密鍵を有するモデルのみが、高品質で意味的に正確なキャプションを生成できるようにし、侵害を抑止する。
• 有効な鍵を使用した場合、元のモデルとほぼ同一の性能を維持することを示す。一方、偽造鍵を使用した場合、顕著に性能が低下することを確認する。
• 従来のウォーターマーキング手法（主に画像分類向け）の限界を克服し、画像キャプション分野における知的財産保護のための最初の知られているソリューションを確立する。

提案手法

• トレーニング段階で、RNNベースの画像キャプションモデルの隠れ状態に、一意な秘密鍵を2種類の異なる埋め込み方式を用いて埋め込む。
• RNNセルの隠れ状態の計算を変更し、学習可能な変換を介して秘密鍵を組み込むことで、鍵をモデルの内部表現に深く統合する。
• 推論段階で署名検証メカニズムを用い、正当な鍵の存在を検証し、不正な使用を防止する。
• 埋め込みを設計することで、いかなる偽造鍵でも隠れ状態のダイナミクスを破壊し、意味的に不整合なまたは低品質なキャプションを生成させる。
• 鍵を隠れ状態に埋め込んだ状態で、エンドツーエンドに訓練することで、標準的なキャプション評価指標における元のモデルの性能を維持する。
• 複数のベンチマークで、有効鍵と偽造鍵を用いたモデルの性能を評価し、削除攻撃および曖昧化攻撃に対する耐性を検証する。

実験結果

リサーチクエスチョン

• RQ1 RNNベースの画像キャプションモデルの隠れ状態に埋め込まれた秘密鍵は、不正使用を効果的に防止できるか？
• RQ2 提案手法の鍵ベース保護メカニズムは、標準的な画像キャプション評価指標における元のモデル性能を維持できるか？
• RQ3 攻撃者が秘密鍵を抽出または偽造しようとする削除攻撃および曖昧化攻撃に対して、本手法はどの程度効果的か？
• RQ4 本手法は、Up-DownやSCSTなどの異なる画像キャプションアーキテクチャにも一般化可能か？
• RQ5 偽造鍵を使用した場合の性能低下は、元のモデルおよびウォーターマーキングベースの手法と比較してどの程度か？

主な発見

• 有効鍵を使用した場合、元のモデルとほぼ同一の性能を維持し、MS-COCOにおけるCIDEr-DスコアはUp-Downで101.93、SCSTで101.87を記録した。
• 偽造鍵を使用した場合、Up-DownモデルではCIDEr-Dスコアが17.27%低下（84.33）し、SCSTモデルでは11.14%低下（90.53）した。これは顕著な性能低下を示している。
• Up-Downモデルでは、偽造鍵使用時、SPICEスコアが19.90から16.53に低下し、参照表現の正確性が著しく損なわれた。
• 本手法は、パスポートベースのウォーターマーキングなど、既存のウォーターマーキングフレームワークを上回り、攻撃下でもより正確で包括的なキャプションを生成できる。
• 偽造鍵を用いたモデルは、意味的に不整合な、または誤ったキャプションを生成し、実用的応用では使用不能になる。
• 本手法はMS-COCOおよびFlickr30kの両データセットで有効であり、異なる画像キャプションベンチマークにおける一般化性を確認した。