[論文レビュー] Scenic: A Language for Scenario Specification and Data Generation

Daniel J. Fremont, Edward Kim+5 more|arXiv (Cornell University)|Oct 13, 2020

Autonomous Vehicle Technology and Safety被引用数 14

ひとこと要約

Scenic は、サイバー物理システムにおける物理的シーンおよびエージェント行動の分布を指定することを目的とした確率的プログラミング言語であり、機械学習ベースのシステムの訓練およびテストに向けた現実的で多様かつレアなシナリオの標的生成を可能にする。この言語は、先行手法を上回る高品質な合成データを生成することで自律システムの耐障害性を向上させ、実証的に車両検出器の性能を最先端技術を超える水準まで向上させた。

ABSTRACT

We propose a new probabilistic programming language for the design and analysis of cyber-physical systems, especially those based on machine learning. Specifically, we consider the problems of training a system to be robust to rare events, testing its performance under different conditions, and debugging failures. We show how a probabilistic programming language can help address these problems by specifying distributions encoding interesting types of inputs, then sampling these to generate specialized training and test data. More generally, such languages can be used to write environment models, an essential prerequisite to any formal analysis. In this paper, we focus on systems like autonomous cars and robots, whose environment at any point in time is a 'scene', a configuration of physical objects and agents. We design a domain-specific language, Scenic, for describing scenarios that are distributions over scenes and the behaviors of their agents over time. As a probabilistic programming language, Scenic allows assigning distributions to features of the scene, as well as declaratively imposing hard and soft constraints over the scene. We develop specialized techniques for sampling from the resulting distribution, taking advantage of the structure provided by Scenic's domain-specific syntax. Finally, we apply Scenic in a case study on a convolutional neural network designed to detect cars in road images, improving its performance beyond that achieved by state-of-the-art synthetic data generation methods.

研究の動機と目的

• 自律走行など安全が求められる分野を含む、機械学習ベースのサイバー物理システムのための現実的で多様かつ稀な訓練およびテストデータを生成する課題に対処すること。
• 幾何的および行動的制約を伴う複雑な環境分布を、現実性と物理的妥当性を保ちつつ指定できること。
• 例えば、稀な交通シナリオや隠蔽状態のような、困難または故障誘発的ケースに焦点を当てたデータ生成により、システムの耐障害性とテストカバレッジを向上させること。
• 宣言的制約、確率分布、および命令型に近い構文を統合したドメイン固有言語を提供し、直感的なシナリオ作成を可能とすること。
• 個々の故障事例から広範な体系的テストシナリオへと一般化することで、自動デバッグおよび反証を可能とすること。

提案手法

• Scenic はドメイン固有言語を用いて、物理的オブジェクトおよび動的エージェントの分布としてシーンを定義し、位置、方向、行動などの特徴を備える。
• 非重複オブジェクトや現実的な車両軌道など、幾何的および物理的妥当性を保証するための宣言的ハード制約およびソフト制約をサポートする。
• オブジェクトの位置、速度などのシーンパラメータにおける確率分布を統合し、多様な環境状態をモデル化する。
• 確率的および制約ベースの条件を両方満たすシーンを効率的に生成するための特殊なサンプリング技術を採用する。
• 再利用可能なコンポーネントおよびユーザー定義の指定子を用いたコンポジショナルなシナリオ構築を可能とし、モジュラリティと再利用性を実現する。
• シミュレーション環境および機械学習パイプラインとの統合を可能とし、認識システムのエンドツーエンドの訓練、テスト、デバッグを実現する。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミング言語を、機械学習ベースのサイバー物理システムの訓練およびテストに向けた現実的で多様かつ稀なシナリオの生成に効果的に応用できるか？
• RQ2 幾何的および動的制約を、シーンのサンプリング中に宣言的に表現し、効率的に強制できるか？
• RQ3 Scenic が生成する合成データは、先行するデータ合成手法と比較して、ニューラルネットワークの耐障害性および一般化性能をどの程度向上できるか？
• RQ4 Scenic を用いて故障事例を体系的に特定し、それらから一般化して反証的テストケースを生成できるか？
• RQ5 確率的モデリングとシナリオ生成を統合することで、自動テストおよびデバッグの効率性とカバレッジはどの程度向上するか？

主な発見

• Scenic が生成する合成データは、先行する非確率的合成データ生成手法よりも優れた性能を示し、車両検出ニューラルネットワークの性能を顕著に向上させた。
• 特に、隠蔽や遠距離にいる車両といった困難なケースに対する標的学習が可能となり、厳しい条件下でも検出精度の向上が測定された。
• Scenic が複雑な幾何的および行動的制約をエンコードできることにより、重なっている車両や物理的に不可能な方向をとるようなアーチファクトを回避した現実的なシーンが生成された。
• 言語の宣言的構文および制約システムにより、簡潔で読みやすいシナリオ仕様が可能となり、シナリオ作成に伴う認知的負荷が軽減された。
• アプローチにより、個々の故障事例から広範な体系的テストシナリオへの自動一般化が実現され、反証およびデバッグの有効性が向上した。
• Scenic は自律走行を越えて、航空機および水中車両システムなどに応用され、その広範な適用可能性が実証された。