[논문 리뷰] A Validation and Quality Assessment Method with Metamorphic Relations for Unsupervised Machine Learning Software.

Zhiyi Zhang, Xiaoyuan Xie외 3명|arXiv (Cornell University)|2018. 07. 27.

Data Stream Mining Techniques인용 수 1

한 줄 요약

이 논문은 사용자가 정의한 변형 관계(MR)를 활용하여 비지도 기계학습 시스템의 시스템 행동을 종속 사용자 기대에 맞게 평가하는 데 사용되는 METTLE를 제안한다. 이 방법을 통해 종속 사용자는 응용 분야에 맞는 요구사항 기반으로 클러스터링 시스템을 평가하고 검증하며 선택할 수 있으며, 실제 응용 분야의 사용자 중심 적합성 기준을 통해 여섯 가지 실제 클러스터링 도구에서 효과를 입증한다.

ABSTRACT

Unsupervised machine learning is the training of an artificial intelligence system using information that is neither classified nor labeled, with a view to modeling the underlying structure or distribution in a dataset. Since unsupervised machine learning systems are widely used in many real-world applications, assessing the appropriateness of these systems and validating their implementations with respect to individual users' requirements and specific application scenarios$\,/\,$contexts are indisputably two important tasks. Such assessment and validation tasks, however, are fairly challenging due to the absence of a priori knowledge of the data. In view of this challenge, we develop a $ extbf{MET}$amorphic $ extbf{T}$esting approach to assessing and validating unsupervised machine $ extbf{LE}$arning systems, abbreviated as METTLE. Our approach provides a new way to unveil the (possibly latent) characteristics of various machine learning systems, by explicitly considering the specific expectations and requirements of these systems from individual users' perspectives. To support METTLE, we have further formulated 11 generic metamorphic relations (MRs), covering users' generally expected characteristics that should be possessed by machine learning systems. To demonstrate the viability and effectiveness of METTLE we have performed an experiment involving six commonly used clustering systems. Our experiment has shown that, guided by user-defined MR-based adequacy criteria, end users are able to assess, validate, and select appropriate clustering systems in accordance with their own specific needs. Our investigation has also yielded insightful understanding and interpretation of the behavior of the machine learning systems from an end-user software engineering's perspective, rather than a designer's or implementor's perspective, who normally adopts a theoretical approach.

연구 동기 및 목표

• 라벨이 없는 데이터와 사전 지식이 부족한 상황에서 비지도 기계학습 시스템을 검증하는 데 도전하는 것.
• 이론적 시스템 행동과 실제 응용 분야의 실질적 사용자 기대 간 격차를 메우는 것.
• 종속 사용자가 특정 요구사항 기반으로 클러스터링 시스템을 평가하고 선택할 수 있도록 하는 방법을 개발하는 것.
• 종속 사용자 관점에서 일반적으로 기대되는 시스템 특성 반영을 위한 일반화된 변형 관계를 설정하는 것.
• 소프트웨어 공학적 맥락에서 의사결정 지원이 가능한 실용적이고 사용자 중심의 검증 프레임워크를 제공하는 것.

제안 방법

• METTLE 프레임워크는 사용자 요구사항 기반으로 비지도 학습 시스템의 예상 행동 특성을 표현하는 11개의 일반화된 변형 관계(MR)를 활용한다.
• 각 MR은 입력 데이터의 변화와 예측 가능한 출력 변화 간의 변환 규칙을 정의하여, 기준 레이블 없이도 일관성 검사를 가능하게 한다.
• 변환된 입력에 대한 시스템 출력을 평가하여, 구현 결함 또는 사용자 기대와의 불일치를 탐지한다.
• 사용자가 정의한 MR 기반 적합성 기준을 테스트 지침으로 사용하여 특정 응용 맥락과의 관련성을 확보한다.
• 이론적 정확성에서 종속 사용자 소프트웨어 공학 관점에서의 실용적 사용성으로 검증 초점을 이동시킨다.
• 프레임워크는 여섯 가지 널리 사용되는 클러스터링 알고리즘을 대상으로 평가되었으며, 행동 일관성과 적합성을 평가하기 위해 MR을 적용하였다.

실험 결과

연구 질문

• RQ1 변형 관계는 실제 응용 맥락에서 비지도 기계학습 시스템에 대한 사용자 기대를 효과적으로 포괄할 수 있는가?
• RQ2 라벨이 없는 상황에서 종속 사용자는 특정 응용 요구사항 기반으로 클러스터링 시스템을 어떻게 검증하고 선택할 수 있는가?
• RQ3 METTLE는 사용자가 정의한 기대와 다를 수 있는 클러스터링 시스템 행동의 일관성 결함을 어느 정도 탐지할 수 있는가?
• RQ4 METTLE 프레임워크는 비지도 기계학습 시스템에 대한 소프트웨어 공학적 의사결정 지원에 어떻게 기여하는가?
• RQ5 이론적 분석이 아닌 종속 사용자 관점에서 평가했을 때, 시스템 행동에 대해 어떤 통찰을 얻을 수 있는가?

주요 결과

• METTLE 프레임워크는 사용자가 정의한 변형 관계를 활용하여 클러스터링 시스템을 평가하고 검증하는 데 성공했으며, 이로써 시스템 행동이 특정 응용 요구사항과 일치함을 입증했다.
• 11개의 일반화된 MR은 데이터 편향에 대한 안정성과 클러스터 구조의 일관성과 같은 일반적으로 기대되는 시스템 특성을 효과적으로 반영했다.
• MR 기반 적합성 기준에 따라 사용자는 라벨이 없는 환경에서도 요구사항에 가장 부합하는 클러스터링 시스템을 식별하고 선택할 수 있었다.
• 기존 이론적 분석으로는 드러나지 않았던 클러스터링 알고리즘 간 잠재적 행동 차이가 이 방법을 통해 드러났다.
• 종속 사용자 소프트웨어 공학 관점에서 시스템 행동에 대한 새로운 통찰을 제공하였으며, 실용적 트레이드오프와 한계를 부각시켰다.
• 실험을 통해 METTLE가 여섯 가지 널리 사용되는 클러스터링 시스템에서 실제 응용 검증 작업에 실현 가능하고 효과적임을 입증했다.