[논문 리뷰] Quality Assurance of Bioinformatics Software: A Case Study of Testing a Biomedical Text Processing Tool Using Metamorphic Testing

Madhusudan Srinivasan, Morteza Pourreza Shahri외 2명|arXiv (Cornell University)|2018. 02. 20.

Software Testing and Debugging Techniques참고 문헌 7인용 수 4

한 줄 요약

이 논문은 생물학적 실체 인식 도구인 LingPipe와 같은 소프트웨어에서 발생하는 오라클 문제를 해결하기 위해 10개의 새로운 변형 관계(MR)를 사용한 변형 테스팅(MT)을 제안한다. 입력 변환에 따른 예상 출력 변화를 정의하는 MR을 적용함으로써 소프트웨어 결함을 효과적으로 탐지하며, ChunkTagHandler 클래스에서는 83%의 변종 살해율, IndoEuropeanTokenizer 클래스에서는 61%의 변종 살해율을 기록하여 MT가 생물의학 NLP 소프트웨어의 품질 보증에 실현 가능함을 입증한다.

ABSTRACT

Bioinformatics software plays a very important role in making critical decisions within many areas including medicine and health care. However, most of the research is directed towards developing tools, and little time and effort is spent on testing the software to assure its quality. In testing, a test oracle is used to determine whether a test is passed or failed during testing, and unfortunately, for much of bioinformatics software, the exact expected outcomes are not well defined. Thus, the main challenge associated with conducting systematic testing on bioinformatics software is the oracle problem. Metamorphic testing (MT) is a technique used to test programs that face the oracle problem. MT uses metamorphic relations (MRs) to determine whether a test has passed or failed and specifies how the output should change according to a specific change made to the input. In this work, we use MT to test LingPipe, a tool for processing text using computational linguistics, often used in bioinformatics for bio-entity recognition from biomedical literature. First, we identify a set of MRs for testing any bio-entity recognition program. Then we develop a set of test cases that can be used to test LingPipe's bio-entity recognition functionality using these MRs. To evaluate the effectiveness of this testing process, we automatically generate a set of faulty versions of LingPipe. According to our analysis of the experimental results, we observe that our MRs can detect the majority of these faulty versions, which shows the utility of this testing technique for quality assurance of bioinformatics software.

연구 동기 및 목표

• 예상 출력을 정의하기 어려운 생물정보학 소프트웨어에서 발생하는 테스트 오라클 문제라는 핵심 과제를 해결한다.
• 검증 메커니즘이 부족하여 자주 테스트되지 않는 생물학적 실체 인식 도구를 체계적으로 테스트할 수 있는 방법을 개발한다.
• 생물의학 자연어 처리(NLP) 도구의 품질 보증을 위한 변형 테스팅(MT)의 타당성과 효과성을 평가한다.
• 단위 테스트가 없더라도 복잡한 생물정보학 소프트웨어인 LingPipe에서 결함을 탐지할 수 있음을 입증한다.
• 일般적인 생물학적 실체 인식 시스템에 적용 가능한 재사용 가능한 변형 관계(MR) 세트를 제공한다.

제안 방법

• 생물학적 실체 인식에 적합한 도메인 특화의 10개 변형 관계(MR)를 식별한다. 예를 들어 문단 제거 또는 뒤섞기, 단어 순서 변경, 텍스트 구조 수정 등이다.
• 이 MR들을 사용하여 입력 텍스트를 예측 가능한 방식으로 변형함으로써 소스 테스트 케이스와 후속 테스트 케이스를 생성한다.
• LingPipe를 소스 테스트 케이스와 후속 테스트 케이스에 각각 실행하고, 출력 변화가 예상되는 MR 행동과 일치하는지 검증한다.
• 변형 테스팅을 통해 LingPipe의 오류가 있는 버전(변종)을 자동으로 생성하여 MR의 결함 탐지 능력을 평가한다.
• 변종 살해율을 분석하여 개별 MR의 결함 탐지 능력을 평가하고 가장 효과적인 MR을 식별한다.
• 소스 테스트 케이스와 후속 테스트 케이스 간의 문장 커버리지 및 실행 경로 차이를 기반으로 MR의 성능을 평가하여 코드 변경에 대한 민감도를 분석한다.

실험 결과

연구 질문

• RQ1 단위 테스트나 공식적인 오라클이 없는 생물학적 실체 인식 도구에서 변형 테스팅이 결함을 효과적으로 탐지할 수 있는가?
• RQ2 생물학적 실체 인식 소프트웨어에서 결함을 탐지하는 데 가장 효과적인 변형 관계는 무엇이며, 그 이유는 무엇인가?
• RQ3 다른 MR 간의 변종 살해율과 문장 커버리지 측면에서 성능을 비교할 수 있는가?
• RQ4 단위 테스트가 없거나 비현실적인 상황에서 MT가 전통적 테스팅의 실질적인 대안이 될 수 있는가?
• RQ5 MR은 복잡한 생물의학 NLP 도구인 LingPipe에서 미세한 결함을 어느 정도 탐지할 수 있는가?

주요 결과

• 변형 테스팅은 ChunkTagHandler 클래스에서 83%의 변종을, IndoEuropeanTokenizer 클래스에서 61%의 변종을 탐지하여 강력한 결함 탐지 능력을 입증했다.
• MR7(문단 제거)와 MR9(문단 뒤섞기)는 동일한 변종 집합을 살해했으며, 유일한 예외 하나를 제외하고는 동일한 성능을 보여, MR9에 중복성의 가능성을 시사한다.
• MR10(랜덤 단어 뒤섞기)는 가장 낮은 변종 살해율을 보였으며, 이는 다른 MR보다 효과적이지 않음을 시사하지만, 유일하게 다른 MR이 탐지하지 못한 변종 하나를 살해했다.
• 소스 테스트 케이스와 후속 테스트 케이스 간에 다른 실행 경로를 유도하는 MR는 코드 변경에 더 민감한 것으로 나타나, 더 높은 결함 탐지 잠재력을 지닌 것으로 보였다.
• LingPipe의 핵심 클래스들에 단위 테스트가 존재하지 않는 것은 보다 다른 테스팅 전략이 필요함을 시사하며, MT가 이를 효과적으로 해결함을 입증했다.
• 본 연구는 생물학적 실체 인식에 MT를 적용한 최초의 사례로서, 생물의학 NLP에서 오라클 기반 테스팅의 기반을 마련했다.