[論文レビュー] Traceability of Deep Neural Networks

Vincent Aravantinos, Frederik Diehl|arXiv (Cornell University)|Dec 17, 2018

Adversarial Robustness in Machine Learning参考文献 25被引用数 10

ひとこと要約

本稿は、安全関連システムにおける深層ニューラルネットワーク（DNN）のための新しいトレーサビリティフレームワークを提案する。従来のコードや低レベル要件の代わりに、ドメインカバレッジモデルや意思決定根拠といったDNN固有のアーティファクトを用いる。DNN開発の試行錯誤的性質に対処するため、バージョン管理されたモデル追跡とメトリクス駆動の改善を採用し、DO178C や ISO 26262 といった基準への準拠に実用的な道筋を提示するが、現行のDNN実務における形式的トレーサビリティの欠如を踏まえる。

ABSTRACT

[Context.] The success of deep learning makes its usage more and more tempting in safety-critical applications. However such applications have historical standards (e.g., DO178, ISO26262) which typically do not envision the usage of machine learning. We focus in particular on \emph{requirements traceability} of software artifacts, i.e., code modules, functions, or statements (depending on the desired granularity). [Problem.] Both code and requirements are a problem when dealing with deep neural networks: code constituting the network is not comparable to classical code; furthermore, requirements for applications where neural networks are required are typically very hard to specify: even though high-level requirements can be defined, it is very hard to make such requirements concrete enough, that one can qualify them of low-level requirements. An additional problem is that deep learning is in practice very much based on trial-and-error, which makes the final result hard to explain without the previous iterations. [Proposed solution.] We investigate which artifacts could play a similar role to code or low-level requirements in neural network development and propose various traces which one could possibly consider as a replacement for classical notions. We also propose a form of traceability (and new artifacts) in order to deal with the particular trial-and-error development process for deep learning.

研究の動機と目的

• 安全関連アプリケーションにおける深層ニューラルネットワーク（DNN）のトレーサビリティの欠如に取り組むこと。DO178C や ISO 26262 といった基準は、現在のところ機械学習をサポートしていない。
• DNN開発の非決定的かつ反復的な性質を鑑み、従来のソフトウェアアーティファクトの代わりに機能するDNN固有のアーティファクトを同定すること。
• 開発プロセスが規定されていなくても、検証および認証を支援する実用的でアーティファクト中心のトレーサビリティアプローチを提案すること。
• 静的コードやアーキテクチャ構造ではなく、モデルバージョンの追跡と段階的性能向上に基づいてトレーサビリティを実現すること。
• 今後の研究の基盤を提供するため、現在のDNNトレーサビリティアプローチにおける主要な未解決問題と制限を特定すること。

提案手法

• 低レベル要件の代わりにドメインカバレッジモデルを導入し、高レベル要件をトレーニングデータの分布と運用シナリオにマッピングする。
• 試行錯誤的なトレーニングプロセス中の開発者の意思決定をトレースし、アーキテクチャやハイパーパrameterの変更に関する根拠を文書化する。
• トレーニング中にすべてのモデルバージョンを追跡するとともに、性能メトリクスにおける段階的改善を記録し、トレーサブルな進化経路を確立する。
• 完全な開発プロセスを規定するのではなく、実際に追跡可能なものを焦点にした実用的でアーティファクト中心のアプローチを採用する。
• 「より良い」性能をメトリクスで定量化することで、トレーニングイテレーション間での改善のトレーサビリティを可能にする。
• スコープを教師あり学習、固定データセット、機能要件に制限することで、複雑さを管理し、コアなトレーサビリティ課題に集中する。

実験結果

リサーチクエスチョン

• RQ1 DNNの非決定的かつ反復的な開発プロセスを鑑み、従来のソフトウェアトレーサビリティ概念をどのようにDNNに適応できるか。
• RQ2 どのようなDNN固有のアーティファクトが、従来のコードや低レベル要件の代替としてトレーサビリティに機能するか。
• RQ3 DNNトレーニングの試行錯誤的性質を、安全関連認証フレームワーク内でトレーサブルかつ正当化可能なものとするにはどうすればよいか。
• RQ4 性能メトリクスと意思決定根拠は、DNNモデルのトレーサブルな進化にどのように寄与するか。
• RQ5 ドメインカバレッジモデルは、高レベル要件をトレーニングデータとモデル動作に効果的に関連付けるのにどう機能するか。

主な発見

• ドメインカバレッジモデルは、高レベルの機能要件をデータ分布と運用条件にマッピングすることで、低レベル要件の代替として実用的である。
• モデルイタレーション中の開発者の意思決定（アーキテクチャやハイパーパrameterの変更など）をトレースすることで、静的コード構造のトレーサビリティの代替として実用的である。
• モデルバージョンと段階的メトリクス改善の追跡により、DNNの実際の開発プロセスを反映する形でのトレーサビリティが可能になる。
• 本アプローチにより、DO178C や ISO 26262 といった安全基準への準拠が可能になり、要件からモデル動作への構造的で監査可能な経路を提供する。
• 本手法は軽量かつ柔軟性に富み、規定されたプロセスを押し付けるのではなく、依然として検証可能なトレーサビリティを可能にする。
• 概念的に妥当であるものの、本稿は成熟度と明確さの欠如に起因する制限を認識しており、特に明確なメトリクス定義や評価フレームワークが欠如している点を指摘している。