[논문 리뷰] Silas: High Performance, Explainable and Verifiable Machine Learning

Hadrien Bride, Zhé Hóu외 3명|arXiv (Cornell University)|2019. 10. 03.

Explainable Artificial Intelligence (XAI)참고 문헌 25인용 수 5

한 줄 요약

Silas는 논리적 언어로 형식화된 앙상블 결합 트리 기반으로 구축된 고성능, 설명 가능하고 검증 가능한 기계학습 시스템이다. H2O와 Ranger와 같은 경쟁 제품보다 훈련 속도가 3.6배 빠르고 메모리 사용량이 5배 적으며, 공식적 검증, 정확성 보장 학습, 모델 및 예측 수준의 설명 기능을 제공한다.

ABSTRACT

This paper introduces a new classification tool named Silas, which is built to provide a more transparent and dependable data analytics service. A focus of Silas is on providing a formal foundation of decision trees in order to support logical analysis and verification of learned prediction models. This paper describes the distinct features of Silas: The Model Audit module formally verifies the prediction model against user specifications, the Enforcement Learning module trains prediction models that are guaranteed correct, the Model Insight and Prediction Insight modules reason about the prediction model and explain the decision-making of predictions. We also discuss implementation details ranging from programming paradigm to memory management that help achieve high-performance computation.

연구 동기 및 목표

• 비즈니스 핵심 분야에서 블랙박스 기계학습의 한계를 해결하기 위해 투명하고 신뢰할 수 있으며 공식적으로 검증 가능한 분류 시스템을 구축한다.
• 예측 성능과 설명 가능성 사이의 격차를 해소하기 위해 논리 기반 언어로 앙상블 결합 트리를 형식화하여 자동 추론을 가능하게 한다.
• 사용자 사양에 기반한 모델의 공식적 검증을 통해 정확성 보장 학습과 고위험 응용 분야에서의 안전성을 확보한다.
• 모델 전반의 통찰력과 개별 예측에 대한 설명을 제공하여 사용자 신뢰도 향상과 모델 감사 가능성 향상을 도모한다.
• 데이터 중심의 순수 기능형 C++ 구현을 통해 최적화된 메모리와 병렬 처리를 통해 고성능을 달성한다.

제안 방법

• Silas는 논리적 언어로 결합 트리를 형식화하여 예측 모델의 자동 추론과 공식적 검증을 가능하게 한다.
• 순수 기능형 프로그래밍 패러다임을 C++에서 사용하며, 비틀림 재귀 템플릿 패턴(CRTP)을 활용해 효율적이고 부작용이 없는 함수 조합 및 스레드 안정성을 확보한다.
• 데이터 중심 설계를 채택하여 데이터 국소성 최적화, 캐시 효율성 향상 및 안전한 벡터화된 병렬 처리를 실현한다.
• 컬럼 기반 메모리 저장 방식을 사용해 메모리 프로파일을 줄이고 대규모 표 형태 데이터에서의 성능을 향상시킨다.
• 모델 감사 모듈은 자동 정리 증명을 통해 사용자가 지정한 논리적 제약 조건에 기반해 모델 동작을 공식적으로 검증한다.
• 강화 학습 모듈은 사용자 사양을 훈련 과정에 직접 통합하여 정확성 보장 학습을 수행하는 모델을 생성한다.

실험 결과

연구 질문

• RQ1 앙상블 결합 트리를 논리적 언어로 형식화하여 자동 검증과 추론을 가능하게 할 수 있는가?
• RQ2 공식적 검증과 설명 가능성을 지원하는 시스템에서 고성능 기계학습을 어떻게 달성할 수 있는가?
• RQ3 기능형, 데이터 중심의 C++ 구현 방식이 기존 도구에 비해 성능과 메모리 효율성에서 얼마나 뛰어나게 되는가?
• RQ4 공식적 검증과 설명 가능성을 생산 수준의 기계학습 시스템에 통합할 수 있는가, 이로 인해 예측 정확도가 저하되지 않는가?
• RQ5 메모리 레이아웃과 프로그래밍 패러다임의 선택이 기계학습 시스템의 성능과 정확도에 어떤 영향을 미치는가?

주요 결과

• 1000만개 항공편 데이터셋에서 Silas의 2번째 개선 버전은 H2O보다 3.6배, Ranger보다 6.1배 더 빠른 성능을 보였으며, 메모리 사용량도 크게 감소했다.
• 대규모 데이터셋에서 Silas는 Ranger보다 5배, H2O보다 3배 더 적은 메모리를 사용했으며, 1000만개 항공편 데이터셋에서 최고 메모리 사용량이 오직 4.3GB에 그쳤다.
• 2번째 개선 버전은 경쟁 제품 수준의 예측 성능을 유지하여 1000만개 항공편 데이터셋에서 AUC-ROC가 0.793을 기록했으며, 최신 기술 수준과 유사했다.
• 객체 지향에서 순수 기능형, 데이터 중심 설계로의 전환으로 레거시 버전 대비 메모리 사용량이 80% 감소했고, 모든 벤치마크에서 성능 향상이 관찰되었다.
• 모델 감사 모듈을 통한 공식적 검증은 대규모 예측 모델에 대해 강력한 정확성 보장을 가능하게 하였으며, 이는 표준 블랙박스 시스템에서는 실현 불가능한 것이다.
• 예측 통찰 모듈은 중요한 입력 특징을 식별하고 모델 결정과 연결함으로써 개별 예측을 성공적으로 설명하여 투명성을 향상시켰다.