[論文レビュー] Automated Driver Testing for Small Footprint Embedded Systems

Sara C.M. de Souza, Rogério Atem de Carvalho|arXiv (Cornell University)|May 4, 2021

Software Testing and Debugging Techniques参考文献 5被引用数 4

ひとこと要約

本論文では、DUT（テスト対象装置）と外部周辺機器を模倣するダブルデバイス、およびPythonで実行されるテストオchestrationコードを備えたホストコンピュータを用いて、小型の組み込みシステムにおける低コストで非侵襲的なテストフレームワークを提示する。この手法により、SPI、I2C、UART、CAN、BLEといった複数の通信プロトコルをカバーする効果的なドライバーテストが可能となり、BLE初期化の不安定性といった実装上の欠陻を特定できる。実際のテストケースを用いた検証では、MicroPythonを搭載したESP32上で再現可能な結果が得られ、有効性が裏付けられた。

ABSTRACT

Embedded systems represent a billionaire market and are present in most of the processors produced in the world.Embedded software interacts with external peripherals such as sensors and actuators through drivers. The strong interaction between drivers and external peripherals often hamper embedded software development, in special the testing task, giving that the physical environment may not be deterministic and difficult to be recreated during the tests, the hardware may not be available or its presence may not be desirable or costly. Aiming at addressing these problems, this paper introduces a solution to test drivers on microcontrollers, based on a method that uses three components: a Device Under Test (DUT), a Double device, and a computer. The computer runs a test orchestration code, while the DUT runs the test target code, and the Double plays the role of the real external peripherals that interact with the DUT. The proposed solution was successfully implemented and validated using different protocols.

研究の動機と目的

• 物理的ハードウェアが入手不能、高価、または開発段階で使用にリスクがある小型組み込みシステムにおけるドライバーテストの課題に対処すること。
• 特に安全規制が厳しいアプリケーションにおいて、プロジェクトリソースの最大80％がテストに費やされる可能性がある組み込みシステムにおいて、テストコストと複雑さを低減すること。
• 本番コードの変更や特別なデバッグモードの必要なしに、実用的で再利用可能かつ透明性の高いドライバーテストソリューションを提供すること。
• 自動テスト実行を通じて、BLE初期化の不安定性といったドライバーライブラリ内の実装上の問題を特定・報告すること。
• 複数の通信プロトコル（SPI、I2C、UART、CAN、BLE）をカバーするシミュレートされた周辺機器（ダブル）を用いた、決定論的で再現可能な組み込みドライバーテストを可能にすること。

提案手法

• フレームワークは3つのコンponentsで構成される：ドライバーコードを実行するDUT（テスト対象装置）、外部周辺機器をエミュレートするダブルデバイス、Pythonベースのテストオchestrationコードを実行するホストコンピュータ。
• ホストコンピュータ上のテストコードは、シリアル通信経由でDUTおよびダブルデバイスにコマンドを送信し、期待される結果と実際の結果を比較して機能を検証する。
• ダブルデバイスは、MicroPythonで実装された「ダブルコード」—BLE広告やSPI通信などの実際のハードウェア動作を模倣する—を実行する。
• 各テストケースは独立しており、テスト駆動開発（TDD）の原則に従い、本番ドライバーコードの実装前にテストコードを記述する。
• ESP32のプロトコル多様性とMicroPythonのインタラクティブターミナルを活用することで、SPI、I2C、UART、CAN、BLEといった複数のプロトコルをサポートする。
• このソリューションは非侵襲的である：DUTにコード変更やデバッグモードの必要がなく、決定論的かつ繰り返し可能な環境でテストが実行される。

実験結果

リサーチクエスチョン

• RQ1 物理的周辺機器が入手不能または不適切な小型組み込みシステムにおいて、ドライバーテストを実用的かつコスト効率よく行う方法は何か？
• RQ2 ハードウェアのダブルデバイスが、組み込みドライバーテストの信頼性と再現性を確保するために、実際の周辺機器をどの程度正確にエミュレートできるか？
• RQ3 このアーキテクチャに基づく自動テストフレームワークは、BLE初期化におけるタイミング問題のような実際の実装上の欠陻を検出できるか？
• RQ4 このフレームワークは、1つの再利用可能なテストアーキテクチャ内で、SPI、I2C、BLEなどの複数の通信プロトコルをどの程度効果的にサポートできるか？
• RQ5 テスト駆動開発（TDD）は、リソース制限のあるシステムにおける組み込みドライバの信頼性と保守性を向上させる役割を果たすか？

主な発見

• フレームワークは、BLEドライバ初期化の不安定性を効果的に検出しており、後に関連するGitHubコミュニティに報告され、実際の実装上の欠陻を特定できることを裏付けた。
• SPIおよびBLEプロトコル用のテストケースは、ターゲットプラットフォームの未熟なライブラリによる不安定性を明らかにした。これは、フレームワークがバグの早期検出に果たす役割を示している。
• 非決定論的な物理的ハードウェアに代えてシミュレートされたダブルデバイスを導入することで、決定論的なテスト実行が達成され、再現可能で信頼性の高いテストが可能になった。
• ESP32上でのMicroPythonの使用により、インタラクティブなテスト実行と即時の結果確認が可能となり、開発者のフィードバックとデバッグ効率が向上した。
• フレームワークの非侵襲的特性により、本番コードの変更や特別なデバッグ設定の必要がなく、統合のオーバーヘッドが低減された。
• ライブラリ、テンプレート、テストケースを含むすべてのアーティファクトがGitHubに公開され、明確なドキュメンテーションとともに、コミュニティの採用と協働を促進した。