[논문 리뷰] Learning Product Automata

Joshua Moerman|arXiv (Cornell University)|2017. 05. 08.

Machine Learning and Algorithms인용 수 3

한 줄 요약

이 논문은 다중 관측 가능한 출력을 가진 모어 기계를 곱 기계로 분해함으로써 활성 오ート마타 학습을 최적화하는 방법을 제안한다. 각 관측 가능한 출력에 대해 독립적으로 학습함으로써, 구조적 분해를 활용해 질의 복잡도를 감소시킨다. 합성 벤치마크에서 등장하는 등급 수준의 등가성 및 구성원 질의 감소를 입증함으로써, 복합적인 행동을 보이는 복잡한 소프트웨어 시스템 학습의 확장성 향상에 기여한다.

ABSTRACT

In this paper we give an optimization for active learning algorithms, applicable to learning Moore machines where the output comprises several observables. These machines can be decomposed themselves by projecting on each observable, resulting in smaller components. These components can then be learnt with fewer queries. This is in particular interesting for learning software, where compositional methods are important for guaranteeing scalability.

연구 동기 및 목표

• 다중 출력을 가진 복잡한 소프트웨어 시스템의 활성 오ート마타 학습에서 발생하는 확장성 저하 문제를 해결하기 위해.
• 모어 기계의 조합적 구조를 활용하여 출력 관측 가능성을 기반으로 독립적인 구성 요소로 분해함으로써.
• 특히 상태공간 복잡도가 높은 시스템에서 학습에 필요한 등가성 및 구성원 질의 수를 줄이기 위해.
• 이미 존재하는 학습 알고리즘(L* 등)에 실용적이고 플러그인 호환 가능한 확장으로서 곱 기계 학습을 지원하기 위해.
• 특히 구성 요소가 거의 독립적인 경우에 해당 분해 기반 학습의 효과를 실제 및 합성 소프트웨어 모델에서 입증하기 위해.

제안 방법

• 모어 기계의 출력이 $O_1 \times O_2$ 인 경우, 각각 출력이 $O_1$ 및 $O_2$ 에 속하는 두 개의 구성 요소 기계 $M_1$ 과 $M_2$ 로 분해하여, 원래 기계가 그들의 곱 $M_1 \times M_2$ 와 동치가 되도록 한다.
• 각 구성 요소 기계에 대해 투입 함수 $\pi_i$ 를 사용해 관련 출력 트레이스를 추출함으로써 활성 학습(L* 등)을 독립적으로 적용한다.
• 각 구성 요소에 대해 별도의 가설을 유지하고, 전체 곱 기계에서의 일致성 검증을 위해 등가성 질의를 통해 검증한다.
• 구성 요소가 상호 독립적이라면, 구성 요소의 총 상태 수는 최선의 경우 $2\sqrt{|M|}$ 로, $|M|$ 보다 훨씬 적게 된다는 사실을 활용한다.
• 허용된 $O_1 \times O_2$ 부분집합에 속하지 않는 잘못된 출력 조합을 탐지하기 위해 곱 가설에 대한 도달 가능성 검사를 수행함으로써, 교사의 상호작용 없이도 자체 진단 기능을 제공한다.
• 기존 L* 알고리즘을 수정하여 구성 요소 학습과 곱 검증을 번갈아 수행함으로써 총 질의 비용을 감소시키는 방식으로 접근한다.

실험 결과

연구 질문

• RQ1 다중 관측 가능한 출력을 가진 모어 기계를 독립적인 구성 요소로 분해함으로써 활성 오ート마타 학습에서 필요한 질의 수를 줄일 수 있는가?
• RQ2 질의 효율성과 확장성 측면에서, 곱 기계의 구성 요소별 학습은 단일 기계 학습 대비 얼마나 효과적인가?
• RQ3 구성 요소 간 독립성이 분해 기반 학습 방법의 성능에 미치는 영향는 어떠한가?
• RQ4 일부 출력 조합이 금지된 제약 조건이 있는 출력 집합을 다룰 수 있도록 이 방법을 확장할 수 있는가?
• RQ5 소프트웨어 모델 학습에서, 이 방법은 역방향 기계 구축과 같은 다른 구조 최적화 기법보다 우월한가?

주요 결과

• 7비트 레지스터 기계의 경우, 곱 학습기로 인해 등가성 질의 수가 13,000건 이상에서 단 22건으로 감소하여 단일 기계 학습 대비 99% 이상 감소하였다.
• 2048개 상태를 가진 $M_8$ 기계에서 곱 학습기는 등가성 질의 3,289건과 구성원 질의 41,732건을 사용한 반면, TTT 학습기는 160,000건 이상의 질의를 사용하여 질의 비용이 90% 이상 감소하였다.
• 최선의 경우 상태공간 크기를 $n \cdot 2^n$ 에서 $2\sqrt{n \cdot 2^n}$ 으로 감소시켜 이론적 복잡도에서 지수적 향상을 입증하였다.
• 표지1 회로 모델에서는 구성 요소 학습을 사용함으로써 등가성 질의 수가 70% 감소하고, 구성원 질의 수가 80% 이상 감소하였다.
• 성능 향상은 구성 요소가 거의 독립적인 경우에만 관찰되었으며, $\text{keyb}$ 와 $\text{ex3}$ 와 같이 밀접하게 연결된 시스템에서는 성능 향상이 미미하여, 종속성 여부가 핵심 요소임을 시사한다.
• 곱 가설에서 잘못된 출력 조합을 탐지함으로써 교사의 반례 제공 없이도 자체 진단 기능을 구현할 수 있었다.