[논문 리뷰] Predicting Metamorphic Relation for Matrix Calculation Programs

Karishma Rahman, Upulee Kanewala|arXiv (Cornell University)|2018. 02. 19.

Software Testing and Debugging Techniques참고 문헌 10인용 수 3

한 줄 요약

이 논문은 제어 흐름 그래프(CFGs)에 기반한 무작위 보행 커널을 사용하는 그래프 커널 기반 기계학습 방법을 제안하여 행렬 계산 프로그램의 변형 관계(MRs)를 자동으로 예측한다. 이 방법은 높은 예측 정확도를 달성하였으며, 순열적 MR에 대해 AUC 0.81을 기록하고, 덧셈 및 곱셈 MR에 대해서는 0.7 이상을 기록하여, 전문가의 수동 입력 없이도 행렬 프로그램의 MR를 효과적으로 예측할 수 있음을 보여준다.

ABSTRACT

Matrices often represent important information in scientific applications and are involved in performing complex calculations. But systematically testing these applications is hard due to the oracle problem. Metamorphic testing is an effective approach to test such applications because it uses metamorphic relations to determine whether test cases have passed or failed. Metamorphic relations are typically identified with the help of a domain expert and is a labor intensive task. In this work we use a graph kernel based machine learning approach to predict metamorphic relations for matrix calculation programs. Previously, this graph kernel based machine learning approach was used to successfully predict metamorphic relations for programs that perform numerical calculations. Results of this study show that this approach can be used to predict metamorphic relations for matrix calculation programs as well.

연구 동기 및 목표

• 신뢰할 수 있는 테스트 오라클가 없는 과학적 행렬 계산 프로그램 테스팅에서 오라클 문제를 해결하기 위해.
• 변형 테스팅에서 핵심이지만 수작업이 필요한 단계인 변형 관계(MRs)의 자동 식별을 위해.
• 이전의 수치 프로그램에 대한 연구를 복잡한 데이터 구조와 연산을 포함하는 행렬 계산 함수로 확장하기 위해.
• 그래프 커널 기반 기계학습이 행렬 기반 함수에 대한 MR을 효과적으로 예측할 수 있는지 평가하기 위해.
• 무작위 보행 커널이 행렬 계산 CFG 내에서 MR 관련 패턴을 포괄하는 데 있어 일반화 가능성 여부를 평가하기 위해.

제안 방법

• 행렬 계산 함수에서 제어 흐름 그래프(CFGs)를 구축하며, 노드는 원자적 연산을 나타내고, 간선은 제어 흐름을 나타낸다.
• 메서드 호출 노드에 반환 유형을 주석 처리하고 원자적 연산의 해상도를 확보하기 위해 후처리를 적용한다.
• 무작위 보행 커널을 사용해 CFG 간 유사도를 계산하며, 이는 그래프 내 모든 보행 쌍에 대한 합으로 유사도를 측정한다.
• 커널 행렬에 대해 서포트 벡터 머신(SVM) 분류기를 훈련시어 MR을 예측하며, 훈련 및 테스트에 55개의 오픈소스 행렬 함수를 사용한다.
• 과적합을 방지하기 위해 검증 세트를 사용해 10겹 교차검증을 통해 하이퍼파rameter(C 및 λ)를 최적화한다.
• ROC 곡선 아래 면적(AUC)을 사용해 모델 성능을 평가하며, 이는 양성 및 음성 MR 예제 간의 올바른 순서 매칭 확률을 측정한다.

실험 결과

연구 질문

• RQ1 그래프 커널 기반 기계학습 접근법이 행렬 계산 프로그램에 대한 변형 관계를 효과적으로 예측할 수 있는가?
• RQ2 무작위 보행 커널이 다른 그래프 커널과 비교해 행렬 함수의 MR을 예측할 때 성능가 어떻게 다른가?
• RQ3 다양한 유형의 행렬 기반 MR에 대해 최적의 예측 성능를 얻기 위한 하이퍼파rameter 설정(C 및 λ)은 무엇인가?
• RQ4 검증 및 테스트 세트 성능를 통해 볼 때, 모델이 새로운 행렬 함수에 얼마나 잘 일반화되는가?
• RQ5 최적의 λ 값이 시사하는 lin처럼, CFG 내 더 긴 제어 흐름 경로가 MR 예측에 더 유용한가?

주요 결과

• 제안된 방법은 순열적 변형 관계에 대해 AUC 0.81을 달성하여 강력한 예측 성능를 입증하였다.
• 덧셈 및 곱셈 MR에 대한 AUC 점수는 모두 0.7 이상이었으며, 이는 세 가지 MR 유형 전반에 걸쳐 일관된 효과성을 보여주었다.
• 모든 MR 유형에 대해 최적의 λ 값이 0.9로 나타나, 짧은 경로보다 더 긴 경로가 MR 예측에 더 유용함을 시사하였다.
• 검증 AUC와 테스트 AUC 점수 간의 밀접한 일치는 과적합이 낮고 예측 모델의 일반화 성능가 우수함을 나타내었다.
• C 값의 선택이 성능에 미치는 영향은 미미하여, 다양한 정규화 강도에서도 모델이 안정적임을 시사하였다.
• 결과는 그래프 커널 기반 학습이 수치 프로그램에서 행렬 계산 프로그램으로 성공적으로 확장될 수 있으며, 자동 MR 예측을 가능하게 함을 확인하였다.