[논문 리뷰] Automated Driver Testing for Small Footprint Embedded Systems

Sara C.M. de Souza, Rogério Atem de Carvalho|arXiv (Cornell University)|2021. 05. 04.

Software Testing and Debugging Techniques참고 문헌 5인용 수 4

한 줄 요약

이 논문은 장비 테스트 대상(DUT), 외부 주변기기의 동작을 시뮬레이션하는 더블 장치, 그리고 Python으로 작성된 테스트 오케스트레이션 코드를 실행하는 호스트 컴퓨터를 사용하여 소형 임베디드 시스템에서 운전자를 위한 저비용 비침습적 테스트 프레임워크를 제시한다. 이 방법은 SPI, I2C, UART, CAN, BLE 등 여러 통신 프로토콜을 통해 실제 구현 결함(예: BLE 초기화 불안정성)을 드러내어 효과적인 드라이버 테스트를 가능하게 하였으며, ESP32에서 MicroPython를 사용하여 재현 가능한 결과를 얻은 실제 테스트 케이스를 통해 검증되었다.

ABSTRACT

Embedded systems represent a billionaire market and are present in most of the processors produced in the world.Embedded software interacts with external peripherals such as sensors and actuators through drivers. The strong interaction between drivers and external peripherals often hamper embedded software development, in special the testing task, giving that the physical environment may not be deterministic and difficult to be recreated during the tests, the hardware may not be available or its presence may not be desirable or costly. Aiming at addressing these problems, this paper introduces a solution to test drivers on microcontrollers, based on a method that uses three components: a Device Under Test (DUT), a Double device, and a computer. The computer runs a test orchestration code, while the DUT runs the test target code, and the Double plays the role of the real external peripherals that interact with the DUT. The proposed solution was successfully implemented and validated using different protocols.

연구 동기 및 목표

• 물리적 하드웨어가 확보되지 않거나, 개발 중에 사용하기에 비용이 많이 들거나 위험한 소형 임베디드 시스템에서 드라이버 테스트의 과제를 해결하기 위해.
• 특히 안전이 중요한 애플리케이션에서 개발 프로젝트 자원의 최대 80%가 테스트에 소요될 수 있는 바, 임베디드 시스템의 테스트 비용과 복잡성을 줄이기 위해.
• 생산 코드를 수정하거나 특수 디버그 모드가 필요하지 않은 실용적이고 재사용 가능하며 투명한 솔루션을 제공하기 위해.
• 자동화된 테스트 실행을 통해 드라이버 라이브러리의 구현 문제(예: BLE 초기화 불안정성)를 식별하고 보고하기 위해.
• 다양한 통신 프로토콜을 통해 시뮬레이션된 주변기기(Doubles)를 활용하여 소형 임베디드 드라이버의 재현 가능하고 결정론적인 테스트를 가능하게 하기 위해.

제안 방법

• 프레임워크는 세 가지 구성 요소를 사용한다: 드라이버 코드를 실행하는 장비 테스트 대상(DUT), 외부 주변기기를 시뮬레이션하는 더블 장치, 그리고 Python 기반 테스트 오케스트레이션 코드를 실행하는 호스트 컴퓨터.
• 호스트 컴퓨터의 테스트 코드는 시리얼 통신을 통해 DUT와 더블 장치에 명령을 전송한 후, 예상 결과와 실제 결과를 비교하여 기능을 검증한다.
• 더블 장치는 MicroPython로 작성된 '더블 코드'—실제 하드웨어 동작을 시뮬레이션하는 구현—을 실행하여 BLE 광고 또는 SPI 통신과 같은 실제 하드웨어 행동을 모방한다.
• 각 테스트 케이스는 고립되어 있으며, 테스트 주도 개발(TDD) 원칙을 따르며, 생산 코드 작성 이전에 테스트 코드를 먼저 작성한다.
• ESP32의 프로토콜 다양성과 MicroPython의 인터랙티브 터미널을 활용하여 SPI, I2C, UART, CAN, BLE 등 다양한 프로토콜을 지원한다.
• 이 솔루션은 비침습적이다: DUT에서 코드 수정이나 디버그 모드가 필요하지 않으며, 결정론적이고 반복 가능한 환경에서 테스트가 수행된다.

실험 결과

연구 질문

• RQ1 물리적 주변기기가 확보되지 않거나 실용적이지 않은 경우, 소형 임베디드 시스템에서 드라이버 테스트를 어떻게 실용적이고 비용 효율적으로 수행할 수 있는가?
• RQ2 하드웨어 더블 장치가 실제 주변기기를 얼마나 잘 시뮬레이션할 수 있는가? 이는 임베디드 드라이버의 신뢰성 있고 반복 가능한 테스트를 가능하게 하는가?
• RQ3 이 아키텍처를 기반으로 한 자동화된 테스트 프레임워크는 드라이버 라이브러리의 실제 구현 결함(예: BLE 초기화 시 시간 오차)을 탐지할 수 있는가?
• RQ4 이 프레임워크는 하나의 재사용 가능한 테스트 아키텍처 내에서 여러 통신 프로토콜(SPI, I2C, BLE 등)을 효과적으로 지원하는가?
• RQ5 테스트 주도 개발(TDD)이 자원 제약이 있는 시스템에서 임베디드 드라이버의 신뢰성과 유지보수성 향상에 어떤 역할을 하는가?

주요 결과

• 프레임워크는 BLE 드라이버 초기화 불안정성을 성공적으로 탐지하였으며, 이후 관련 GitHub 커뮤니티에 확인되고 보고되어 실제 구현 결함을 드러내는 데 효과성을 입증하였다.
• SPI 및 BLE 프로토콜에 대한 테스트 케이스는 대상 플랫폼의 미성成熟한 라이브러리로 인한 불안정성을 드러내었으며, 이는 이 프레임워크가 초기 버그 탐지에 기여한다는 점을 보여준다.
• 비결정론적인 물리적 하드웨어를 시뮬레이션된 더블 장치로 대체함으로써 결정론적 테스트 실행을 달성하여 반복 가능하고 신뢰할 수 있는 테스트를 가능하게 하였다.
• ESP32에서의 MicroPython 사용은 인터랙티브 테스트 실행과 실시간 결과 검토를 가능하게 하여 개발자 피드백과 디버깅 효율성을 향상시켰다.
• 비침습적 성격 덕분에 프로덕션 코드 수정이나 특수 디버그 설정 없이도 테스트가 가능하여 통합 오버헤드가 감소하였다.
• 모든 아티팩트—라이브러리, 템plate, 테스트 케이스—는 명확한 문서화와 함께 GitHub에 게시되어 커뮤니티의 채택과 협업을 촉진하였다.