[論文レビュー] Scenic: Language-Based Scene Generation.

Daniel J. Fremont, Xiangyu Yue+4 more|arXiv (Cornell University)|Sep 25, 2018

Adversarial Robustness in Machine Learning参考文献 32被引用数 22

ひとこと要約

本論文では、物体同士の物理的・空間的関係をエンコードすることで、合成シーンを生成するためのドメイン特化型確率的プログラミング言語であるScenicを紹介する。シーンをハード制約とソフト制約を含む分布としてモデル化することにより、現実的で多様な訓練データを生成するシーンインプロヴィゼーションを可能にし、さまざまな状況下でのCNNの車両検出性能を顕著に向上させる。

ABSTRACT

Synthetic data has proved increasingly useful in both training and testing machine learning models such as neural networks. The major problem in synthetic data generation is producing meaningful data that is not simply random but reflects properties of real-world data or covers particular cases of interest. In this paper, we show how a probabilistic programming language can be used to guide data synthesis by encoding domain knowledge about what data is useful. Specifically, we focus on data sets arising from configurations of physical objects; for example, images of cars on a road. We design a domain-specific language, Scenic, for describing scenarios that are distributions over scenes. The syntax of Scenic makes it easy to specify complex relationships between the positions and orientations of objects. As a probabilistic programming language, Scenic allows assigning distributions to features of the scene, as well as declaratively imposing hard and soft constraints over the scene. A Scenic scenario thereby implicitly defines a distribution over scenes, and we formulate the problem of sampling from this distribution as scene improvisation. We implement an improviser for Scenic scenarios and apply it in a case study generating synthetic data sets for a convolutional neural network designed to detect cars in road images. Our experiments demonstrate the usefulness of our approach by using Scenic to analyze and improve the performance of the network in various scenarios.

研究の動機と目的

• 現実世界の物理的配置を反映する意味のある、ランダムでない合成データを生成する課題に対処すること。
• シーン内の物体間の複雑な空間的および関係的制約を正確に指定できること。
• シーンの分布から自動的にサンプリングを行い、多様で現実的な訓練データを生成するシステムの開発。
• Scenicによって生成されたデータを用いたデータ拡張により、ディープラーニングモデルの頑健性と一般化性能を向上させること。
• Scenicが複雑な道路環境下でのCNNの車両検出性能を向上させる有効性を実証すること。

提案手法

• 空間的および物理的制約を考慮したシーン生成に特化したドメイン特化型確率的プログラミング言語としてScenicを設計すること。
• 確率的分布を用いて物体の位置、方向、関係を記述可能な構文を定義すること。
• ハード制約（例：物体Xは物体Yの前にある必要がある）とソフト制約（例：物体同士は適切な距離を保つべき）の両方をサポートすること。
• シーンのサンプリングを「シーンインプロヴィゼーション」として定式化——定義された確率的および制約ベースのモデルに従って有効なシーンを生成するプロセス。
• シーン構成の連合分布から効率的にサンプリングするインプロヴィーザーエンジンを実装すること。
• 生成された合成データを用いて、道路シーンにおける車両検出のための畳み込みニューラルネットワークを訓練および評価すること。

実験結果

リサーチクエスチョン

• RQ1 確率的プログラミング言語は、合成データ生成を導くために、シーンのドメイン知識を効果的にエンコードできるか？
• RQ2 Scenicは、物体間の複雑な空間的関係を反映する多様で現実的なシーンをどれほど効果的に生成できるか？
• RQ3 Scenicによって生成された合成データは、オブジェクト検出のためのディープラーニングモデルの性能と頑健性をどの程度向上させるか？
• RQ4 Scenicにおけるハード制約とソフト制約は、サンプリングされたシーンの多様性と現実性にどのように影響を与えるか？
• RQ5 Scenicによるシーンインプロヴィゼーションは、困難な現実世界のシナリオに一般化しやすい訓練データを生成できるか？

主な発見

• Scenicは、確率と制約を統合した宣言的で高水準の構文を用いて、物体間の複雑な空間的関係を効果的にモデル化している。
• シーンインプロヴィゼーションプロセスは、シナリオに指定された意図された分布と制約を反映した多様で有効なシーンを生成している。
• Scenicによって生成された合成データセットは、特にレアまたは複雑な構成において、CNNの一般化性能を向上させている。
• ソフト制約の導入により、完全にランダムまたは厳密に制約された生成と比較して、より現実的で多様なシーンサンプルが得られている。
• このアプローチにより、実世界データでは明らかでない障害モードを特定するための、異なるシーン構成におけるモデル性能の体系的分析が可能になった。
• 事例研究では、Scenicによって生成されたデータが、隠蔽されたり密接に配置された車両などのエッジケースにおけるモデルの頑健性を向上させていることが示された。